築城年代は定かではないが、鴛鴨入道酒井道円なる人物が、松平信光の岩津城と戸田宗光の上野城に近いこの地に築いたとされる。1468(応仁2)年、信光は挙母への進出を目指し、酒井道円が支配する鴛鴨の地を攻略した後、挙母への中継基地や補給,防衛の役目などを担う本格的な城を築いて息子の松平親光を入れた。親光は、十八松平家の一つ押鴨松平家の祖となり、その後、親康,親久,忠久の4代が続く。4代目の松平忠久は徳川家康の命により当時西尾城主だった酒井正親の臣下となり、西尾城へと移った。
　1563(永禄6)年、三河一向一揆が勃発する。鴛鴨城の南の上野城主･酒井忠尚は一向側に与したため、松平側は鴛鴨城を拠点として上野城を牽制した。一向勢との和議が成立した後も忠尚は松平家に帰順せず抵抗を続けていたため、家康は隣松寺に本陣を置き、鴛鴨城の松平親久と共に上野城を攻め落とした。
　1565(永禄8)年、親久の死去により、鴛鴨城は廃城となったとされる。
　なお、鴛鴨松平氏の墓所は隣松寺の北東に整えられている。また、そこには2代松平親康の娘が嫁いだ榊原長政(康政の父)の墓、家康の四男･松平忠吉の養母となった4代松平忠久の娘･於美津の墓もある。