1510(永正7)年、大河内信綱(信政)が築いたとされる。大河内氏は以仁王の乱で討たれた源頼政の子孫で、岡崎市の大河内郷へ落ち延びていた。代々、吉良氏に仕え、大河内貞綱は遠江にある吉良氏の領地も管理していたが、1516(永正13)年、今川氏親の遠江侵攻で曳馬城を攻められ、弟の巨海城主･巨海道綱とともに自害したという。
　その後は、松平氏と近い関係にあり、12代目の大河内秀綱は三河一向一揆で徳川家康と敵対したが、家康に請われて出仕し、秀剛の次男である正綱が家康の命により長沢松平家へ養子に入り、｢知恵伊豆｣と称された松平信綱を輩出するなど、その子孫の数家は幕末まで大名として存続した。
　城跡は現在の瑞松寺一帯とされ、境内の北西角に高土塁が残されている。また、城跡から200mほど北側に建つ寺津八幡社は大河内顕綱の創建である。