築城年代は定かではないが、14世紀後期に西条吉良家の満義の5男満康が岡山氏の祖となり、岡山氏代々の居城として存続したとされる。16世紀中頃の城主に富永半五郎勝光の名があり、室城主の富永伴五郎忠元が管理したとある。1561(永禄4)年、松平元康が三河統一を進める中で東条城の吉良義昭を攻めた藤波畷の戦いでは、吉良氏の家老であった忠元は家康方の本多広孝勢によって討取られた。敗れた吉良義昭は岡崎に捕われたが、翌年には許され岡山城に入った。しかし、三河一向一揆が起こると、義昭は再び家康に背いて東条城へ入ったが、敗れてのち、生活に窮して三河から近江へと去っていった。
　江戸時代前期には吉良上野介義弥の次男弥清が住し、岡山八兵衛を称した。