築城年代は定かではないが、鎌倉時代に小川重房が築いた地頭屋敷がその始まりとされる。1360(延文5)年に土岐氏に攻められ落城した。その後、小川氏末裔である水野貞守が1475(文明7)年に緒川古城を築き、賢正,清忠,忠政,信元と続いた。
　1533(天文2)年、徳川家康の生母於大の方の父である水野忠政は勢力を拡げて三河国刈谷城を築き居城を移した。このとき緒川城には嫡子水野信元を置いた。1576(天正3)年、水野信元は武田勝頼に通じたと佐久間信盛によって織田信長に密告され、その嫌疑によって謀殺された。これにより緒川古城は廃城となり佐久間信盛の所領となった。
　1580(天正8)年、信長は信元の弟水野忠守に旧領を与え、このとき築いたのが緒川新城もしくは高薮城と呼ばれる。
　1601(慶長6)年、緒川藩が成立し水野分長が城主となるが、1606(慶長11)年には三河国新城1万石に移封となり、緒川城は廃城となった。
　江戸時代初期に描かれた｢緒川村古城絵図｣によれば、土塁と塀に囲まれた大小の曲輪があり、南から中央にかけて東西83m,南北95mほどの方形状が緒川古城の主曲輪で北側に土塁の一部が残存する。北の曲輪群は家臣の屋敷地と分長の時代に居城とされた高藪城であった。現在は高藪城周辺は一面宅地となり、当時の面影を留めていない。なお、水野氏菩提寺の乾坤院の総門は緒川新城(高藪城)廃城時に移築されたもので、現存する唯一の建物である。
　なお、緒川城主三代の墓が西の於大公園にある。