築城年は定かではないが、戦国時代には今川家臣で東三河十七騎の一人･石田式部丞友利の居城とされる。城谷城,城貝津城,下地村城谷古屋敷とも呼ばれる。石田氏の祖となる石田次郎為久は当初、相模国に住み治承･寿永の乱において鎌倉方として木曽義仲討伐軍に加わった。『吾妻鏡』によれば、為久は1184(寿永3)年正月21日、義仲が粟津の戦いに敗北し北国へ落ち延びる道中、馬が深田にはまり込んで動けなくなったところを矢を放って射殺したという。為久の郎党2人が駆けつけ、その首を取った。為久は鎌倉時代初期に当地に移り住み、下地郷の土豪的神職になったという。1600(慶長4)年に関ヶ原の戦いで敗れた石田三成をその子孫とする系図もある。
　館跡(城跡)は豊麻神社の西の区画とされるが、宅地,駐車場などに変わり、遺構は残されていない。