築城年代は定かではないが、長尾城主･岩田氏の支城であったと伝えられ、岩田氏が衰えると戸田法雲が城主となった。戸田法雲は当初、緒川城の水野氏に備えていたが、織田,水野の勢力に圧され水野氏に屈することになる。
　渥美半島を治めていた戸田氏は知多半島に進出し河和城を築いて知多半島の先端を制圧した後、勢力を北上させて岩田氏が治めていた富貴城を落城させる。富貴城には戸田氏の長老であったと言われている戸田法雲が入城した。
　一方、緒川城主の水野信元も知多半島を手中に収めるべく軍勢を南下させ、宮津城,成岩城を次々に制圧し、岩田安広の長尾城も開城させる。
　ついに戸田法雲と水野信元は富貴城において衝突することになるが、数に劣る戸田方は戸田氏本家からの援軍も間に合わず、富貴城は落城する(法雲の生死は不明)。水野氏は、その後も布土まで進軍して布土城を築城し、河和城の戸田氏と相対するが、最終的には戸田氏は水野氏に屈し水野信元の娘が戸田氏に嫁いで血縁を結ぶことになる。なお、富貴城は1560(永禄3)年の桶狭間の戦い後に廃城となったとされる。
　城跡は白山社境内と隣地の円観寺を含む一帯とされ、この辺りは周囲より一段高くなっており、主郭の白山社境内はさらに一段高く土塁が残っている。