築城年代は定かではないが、天文年間(1532～55年)、牧野新次郎あるいは戸田左門の居城とされる。今橋城主･牧野氏、二連木城主･戸田氏の詰城といわれ、今川方の船形山城、山麓の鎌倉街道を睨んで築かれたと想像される。
　赤岩城跡は赤岩寺背後の標高129ｍ,比高50ｍの山頂に築かれており、尾根背後を大堀切で断ち切って、高土塁を残し南に向けて数段の曲輪を存在する。登城道は３つのがあり、赤岩寺本堂左裏の石段、赤岩寺と墓地間を流れる赤石川沿いの石段、そして山門右手に見える舗装路である。