築城年は定かではないが、室町幕府の奉行衆となった岩堀氏の屋敷とされ、代々、居住した。岩堀氏は三河国額田郡岩堀邑より起り、岩堀横応次により築かれたとされるが、詳細は不明。このほか、岩堀左近将監，岩堀修理亮，岩堀六郎らの名がある。1450(宝徳2)年には一時所領を没収されたが、1456(康正2)年には再びこの地に屋敷を構えていたという。また、1572(元亀3)年の三方ヶ原の戦いには、徳川家康の配下として出陣した記録が残されている。
　現在は城跡は西光寺や住宅地に変わり、遺構は残されていない。