築城年は定かではないが、神戸城主･神戸友盛の家老であった山路弾正種常によって神戸城の北の支城として築かれた。1567(永禄10)年と翌年の二度にわたって北伊勢に侵攻してきた織田信長の軍勢に攻められたが、落城することはなかった。
　その後、神戸友盛は信長3男の信孝を神戸家の養子に迎えることで信長と和睦したが、1571(元亀2)年、信長に沢城(神戸城に移る前の居城)への隠居を命じられ、さらに近江の蒲生氏郷預りとされた。この主君の不遇に憤慨した山路弾正は平野城主･伊藤茂右衛門とともに神戸城討伐の謀叛を企てたが、不意を襲われて自害に追い込まれた。その後は、信孝の異母兄弟にあたる小島兵部が高岡城に入った。
　本能寺の変後、神戸(織田)信孝が岐阜城に移ると入れ替わりに兵部が神戸城主となり、高岡城は廃城となった。
　城は鈴鹿川北岸の標高50m程の丘陵に築かれており、城山頂上は高岡城跡公園となっている。山頂には遺構はほとんど見受けられないが、登城途中に空堀跡が残されている。