1380(康暦2)年、浜名小五郎利正によって浜名湖の北の猪鼻湖の北岸に築かれた。1387(嘉慶元/元中4)年には利正が開基となり、敷地内に利正院を創建した。しかし、1405(応永12)年の洪水によって居館は崩壊している。
　1540(天文9)年頃になって浜名氏の子孫の大屋吉太夫光政が修築して住み、浜名氏が没落後は、中本多百助信俊とその子･信勝の管理下にあったとされる。現在の利正院には大屋氏のものとされる五輪塔があるほかは、居館遺構は残されていない。