築城年代は定かではないが、1545(天文14)年頃に山内大和守通泰によって築かれたと考えられている。1401(応永8)年に天方郷から飯田郷に進出した山内対馬守道美が最初に飯田古城を築き、久通，通泰と続いた。
　今川義元が桶狭間に倒れると､1568(永禄11)年には三河の徳川家康が遠江に侵攻する。遠江の国人衆が続々と家康に降るなか、山内通泰は家康に降ることなく敵対していたため、1569(永禄12)年6月、家康は榊原康政，大須賀康高らに飯田城を攻めさせ、山内通泰は討死して落城した。1572(元亀3)年には、武田信玄の軍勢によって攻め落とされ天野氏が入ったが、約5年ののちに徳川氏が再び奪還し、そのまま廃城となった。
　飯田城は太田川の東岸の太田川に面した丘陵の西端に築かれている。自然の谷地形を東限とし、西に縄張りされ、東西100ｍ,南北150ｍ規模の丘城で、中央の本曲輪を挟んで、北に物見曲輪、南に二の曲輪を配置し、本曲輪の東西には高土塁を付けている。西へ伸びた尾根には堀切や削平地があるが、周囲は茶畑や竹藪となっている。