鵜殿兵庫之城とも呼ばれる。築城年は定かではないが、永正年間(1504～21年)に鵜殿氏によって築かれたとされる。鵜殿氏は紀伊国熊野新宮から海路を渡って蒲郡へ移り、上ノ郷城,下ノ郷城,不相(府相)城,柏原城を築き一族を配置して今川氏に仕えた。牟呂城は三河湾沿岸に上ノ郷城の支城として築かれ、1526(大永6)年まで存続した。城主に室金平,鵜殿兵庫頭政茂の名がある。
　1562(永禄5)年、松平元康が上ノ郷城を攻め、鵜殿長照が討死にした際には、政茂は本家とは別に元康に従ったという。
　発掘調査時の土塁の残存状況から稲荷社を北東角として東西,南北とも一辺67mの方形館であったと推測されている。土塁の外側には堀が巡らされていた。現在は北東の土塁の一部のみが残され、その上には稲荷社が祀られている。城域内は住宅,道路,駐車場となり遺構は残されていない。