築城年代は定かではないが、南北朝時代に天野景政によって築かれたとされる。伊豆国天野郷の天野氏の一部が山香荘地頭職として入部し勢力を拡げ有力国人となった。
　戦国時代になると、その位置関係から今川，武田，徳川の各氏の影響を受け翻弄される。当初、天野氏は今川義元に従っていたが、桶狭間の戦いで義元が織田信長に討たれると、1563(永禄6)年には宗家の天野景泰･元景親子が今川氏真から離反し、庶流で篠ヶ嶺城主の天野藤秀の子･景貫が天野家の惣領となる。しかし、天野景貫もまた今川氏が衰退すると離反して、1569(永禄12)年頃には徳川家康に臣従した。さらに、1572(元亀3)年、武田信玄が遠江へ侵攻したときには、天野氏は武田氏に降り、徳川方を攻める先陣を務める。やがて、信玄が亡くなり勝頼が長篠の戦いで大敗すると、1574(天正2)年に徳川家康が天野氏を攻める。このとき籠城した天野景貫は悪天候も味方し退却する徳川勢を奇襲し防戦に成功するが、2年後の1576(天正4)年の徳川軍の総攻撃には耐えきれず、天野一族は武田勝頼を頼って甲斐へと敗走した。なお、天野氏はその後、武田氏が滅びると小田原城の北条氏を頼り、北条家が滅亡すると帰農したとされる。
　犬居城は標高255mの行者山山頂に築かれている。物見曲輪と呼ばれる西端の最高所を主郭とし、東へ伸びた尾根に曲輪を連ねている。西尾根は堀切で遮断している。主郭部の東端は堀に土橋が架かり、その先の小郭は馬出となって北側へ通路が伸び、周囲に横堀が巡る。また、北の山腹に井戸曲輪と呼ばれる湧き水のある削平地が残っている。