築城年は定かではないが、暦応年間(1338～42年)に冨永筑後守富春によって築かれたとされる。 冨永氏は富継,富輝,富知と続き、代々京都御所南門の警衛を司っていた。
　1574(天正2)年または1568(永禄11)年、富知が城主のときに、織田信長の家臣･滝川一益の夜討ちに遭い落城。尾張国に落ち延びたという。　
　善正寺は冨永氏の一族によって1581(天正9)年に城跡に創建され、現在に至る。周辺よりやや高い位置にあり、境内には土塁や櫓台,石積などが残っていたとされるが、現在は失われて碑のみが立つ。