築城年は定かではないが、城主には大岡氏の名が伝わる。位置,城域は特定できていないが、真福寺の地を利用し近くの街道を監視する役目を持っていたとされる。室町時代後半、藤原(九条)善吉とその父(名は不明･忠教とあるが時代が合わない)が三河国八名郡宇利郷から同郡大岡村に移住し、大岡姓を名乗った(異説あり)。善吉の子･大岡忠勝のときには、松平広忠，徳川家康、忠勝の子･大岡忠政も徳川家康に仕えている。1571(元亀2)年に武田勢が岡崎へ攻め寄せた際には、付近が戦場となったことが予想される。
　1590(天正18)年、家康の関東移封に従い、高座郡堤村(茅ヶ崎市)に知行200石を与えられ本貫地とした。忠政の子孫には、西大平藩初代藩主で『大岡政談』で有名な大岡越前守忠相がいる。