別称、石谷城ともいう。築城年は定かではないが、室町時代の応仁･文明年間(1467～87年)には藤原南家の工藤太夫為憲の流れを汲む二階堂氏の子孫の遠江西郷氏が居城したと伝わる。1494(明応3)年には今川方の伊勢長氏(のちの北条早雲)による遠江三郡侵攻に際し、高藤城の原氏に与したが倉真城，滝ノ谷城などとともに制圧された。その後、戦国時代(1568年頃)に後裔の石谷政清，子の石谷政信，清定が今川方から徳川方へ鞍替えし継承したとされ、徳川家康の関東移封に従い、武蔵国多摩郡に移ったことで廃城となった。
　美人ヶ谷城は標高107m,比高50mの湾曲した尾根上に延びる東西約100ｍ,南北約250ｍの範囲に築かれた連郭式の山城である。城域の最高部に主郭をもち、主郭の西側の斜面を下りると不整形の広い2郭となるが、後世に加工されており築城時の状況ははっきりしない。主郭から南へは順次、3郭，4郭，5郭，6郭、そして大手曲輪とされる7郭へと続く。3と4郭，5と6郭、そして6と7郭は堀切で区切られ、特に5郭と6郭の間の堀切は深くはっきり残されている。また、それぞれの郭の両側には小規模なものも含め腰曲輪と帯曲輪が複数設けられている。5郭の北西側には横矢掛けの張り出しがみられる。
　なお、｢美人ヶ谷｣とは、山の禿げた状態を示す｢ビンゲ谷｣が訛ったものだといわれている。