築城年代は定かではないが、飯田城に移る前の坂西氏の居城と伝えられる。河岸段丘が半島状に東へ突き出した丘陵の上に築かれており、西を除く三方は急峻な地形となっている。坂西氏には二流あるとされ、淡路国坂西城主であった近藤六郎周家が源義経の奥州下向に伴ったが越後国で暇を出され、信濃飯田郷に来住し飯田郷を支配下におさめ、故地にちなんで坂西氏を称したとする流れと、鎌倉末期に飯田郷の地頭職となった信濃守護小笠原氏の小笠原宗満が坂西氏を名乗ったとされるものである。小笠原氏流坂西氏が前者の名跡を継いだ可能性もある。
　やがて、本拠地(城館)を現在の愛宕神社あたりに移したが、戦国時代には帰属した武田氏による改修を受け整備されていく(飯田城)。そして、武田氏滅亡とともに坂西氏も没落した。
　現在は愛宕稲荷神社が鎮座しているが、建保年間(1213～19年)に飯坂城跡地に地蔵寺が建てられ、1240(仁治元)年に地蔵寺の清秀法印が植えたとされるエドヒガンザクラの古木(清秀桜)が境内にある。