1343(興国4/康永2)年、土岐頼康(『土岐累代記』による)または弟の土岐頼雄(『新撰美濃志』による)によって築かれたとされる。頼雄が城主となって、頼雄の末子の詮頼が揖斐氏と称して、子孫が約200年にわたって代々跡を継いだ。詮頼の曾孫の基信は惣領家の土岐政房の子･光親を養子としたが、1547(天文16)年の斎藤道三による攻撃で落城した。なお、築城者とされる頼雄は、揖斐川町大光寺にある大興寺を創建したことでも知られ、寺内に土岐頼雄墓所がある。
　その後は揖斐氏の家臣･堀池氏が居城としたが、織田信長の美濃国侵攻に伴い、1583(天正11)年には稲葉良通によって再び城は陥落した。良通の子･稲葉貞通が城主となっている。後に破却され揖斐陣屋が建てられた。
　城は標高220m,比高180mの城台山頂上に本丸があり、南から南の丸，本丸，二の丸，三の丸，出丸(太鼓曲輪)，北の丸，搦手曲輪とクランク状に連なり、途中にも曲輪，腰曲輪が設けられている。また、堀切や竪堀を巧みに用いて防御性を高めている。本丸の枡形虎口や出丸北下の切り通しも敵の侵入を妨げている。二の丸の南山腹にある井戸には現在も水が沸いている。南北朝時代から戦国時代にかけて完成度を高めてきた山城といえる。