築城年は定かではないが、応永年間(1394～1428年)に天方城主であった山内対馬守道美によって築かれた。1401(応永8)年に道美は天方城を弟の山内山城守に譲っていることから、その頃の築城と考えられる。ほぼ同時期に、道美は山内氏の菩提寺として崇信寺を創建した。飯田山内氏は道美の後、久通，通泰とつづき、1545(天文14)年頃、山内通泰の代に南西300ｍほどのところに新城(飯田城)を築いている。
　古城は、太田川東岸の河岸段丘上(標高83m,比高48ｍ)に東西170m,南北400ｍと広大な城域をもち、北限に幅3mの古式な二重堀、さらにその西にも堀切がある。また、東の尾根上も堀切が確認できる。西の備えとしては、崇信寺墓所の西側に高いところで3ｍもある土塁が構築されている。広大な城域は兵の布陣，駐屯に適していたと考えられる。
　崇信寺墓地には、飯田山内三代の墓がある。