横地氏は古くから当地を本領としていた。初代の横地太郎家永(1052～1126年)は、八幡太郎義家が前九年の役で父･源頼義の加勢のために奥州へ向かう途中、磐田見付宿で地元の有力者である相良太郎藤原光頼の娘との間に授かった子で、義家の後ろ盾によって横地村に居を構えたという。滅亡まで450年間,17代続き遠江の古名族として君臨した。
　横地城(別名:金寿城)は築城年代は定かではないが、室町時代初頭に10代横地太郎家長によって築かれたとされる。11代横地長豊は将軍の御供衆として京都に滞在し、12代の横地長泰は1439(永享11)年の永享の乱で戦死した。1471(文明3)年には将軍足利義政の命により、横地秀綱が尾張国へ移住し植田城を築いている。13代の横地長秀のとき、駿河守護の今川義忠と遠江守護の斯波義廉の対立に際し、同族の勝間田氏と共に斯波氏方について挙兵するも今川義忠に攻められ、1476(文明8)年に落城した。なお、今川義忠はその帰路に遠江国塩買坂で横地の残党に襲われ討死した。
　城は牧ノ原台地から西側の菊川水系の平野部に伸びる丘陵上および谷地形を利用して造られており、その規模は東西400m×南北450mを測る。尾根の上部に東の城(本丸),中の城,西の城(二の丸)という三つの主要区画があり、大小の曲輪や堀切,土塁,竪堀などが残る。また、城兵の戦闘訓練の場として｢金玉落しの谷｣がある。