築城年は定かではないが、鎌倉時代初期(1190年代以前)に高桑氏(高桑大将軍[実名不明]，高桑次郎)によって築かれた。1221(承久3)年の承久の乱の際には、朝廷側東方軍の大将軍として土岐氏とともに鎌倉幕府軍と戦っている(大将軍は朝廷軍･幕府軍の両軍を通じ最初の戦死者)。執権･北条義時，北条政子,大江広元の死後の1226(嘉禄2)年には、大将軍の次男･高桑次郎が首領として、高桑城より300の将兵を率いて六波羅探題を襲い捕らえられている。
　その後、高桑氏は代々土岐氏に仕え、高桑城は土岐氏の川手城の支城としての役割を担っていた。1494(明応3)年に土岐氏の跡継ぎ騒動で起きた船田の乱により落城したが、後に再建される。
　1527(大永7)年8月、斎藤道三に内通していた留守居の武山氏の手によって占領され、高桑氏は土岐氏第15代当主･土岐頼純と共に頼純の母の実家である越前国の一乗谷朝倉氏の館に逃亡した。約340年もの間、代々高桑氏の城であった高桑城は、1530(享禄3)年に道三が土岐氏を追放して美濃国の支配を完了したことで、正式に武山氏の居城となった。
　さらに、1567(永禄10)年、織田信長の命を受けた織田信忠によって、武山氏の高桑城は落城し廃城となった。　
　城は境川の北に土塁で築かれ、周囲は約400m(約8a)であったとされる。また、城石の一部は、高桑氏の菩提寺であった高桑山慈恩寺の観音堂に使われている。