1506(永正3)年夏、今川氏親の重臣･伊勢新九郎(後の北条早雲)に率いられた今川勢が東三河に侵攻し、松平長親と戦って今橋城(吉田城)を落とした。この結果、東三河の諸氏は今川氏に属したが、この中に春瀬(嵩山)西郷の名もあった。1509(永正6)年、初代の嵩山西郷氏となる弾正左衛門正員が誕生する。
　1523(大永3)年、西郷信員(正員の父の可能性大)が嵩山の一族右京進を逐ってこの地を押領し月ヶ谷城を築いたとされ、西郷氏一族は正員のもとに統一されたものと思われる。月ヶ谷城は標高205m,比高150mの山頂にあり、居館は南麓の市場城といわれる。現在は曲輪,土塁,井戸跡が残る。
　1529(享禄2)年、西郷氏は東三河に兵を進めた松平清康に属するが、1535(天文4)年には再び今川氏に属した。1552(天文21)年、正員が没し、次の当主として正勝(兄弟?)の名が登場する。1560(永禄3)年に桶狭間の戦いで今川義元の敗死すると、翌年、正勝は今川氏を離反して松平元康に従う決断をする。しかも縁戚となっていた菅沼定盈(野田城主)とその一族である田峯城，長篠城の菅沼氏と設楽氏を誘っての離反であった。今川氏の怒りは激しく、西郷氏や東三河諸氏の人質を串刺し刑にして殺し、直ちに出兵した。最初に嵩山市場口(市場城)を攻め、続いて野田城を囲んだ。正勝は子･元正を野田城に送り菅沼定盈を応援したが、多勢の今川勢には敵わず落城、定盈らは正勝のもとに身を寄せた。
　1562(永禄5)年秋、正勝は月ヶ谷城を元正に譲り、五本松城を築いて本城としていたが、今川方の宇津山城主･朝比奈泰長の奇襲を受けて無念の討死を遂げてしまった。しかも、質として岡崎にいた次男･清員を除き、嫡男の元正，3男･勝茂も討死してしまった。
　その後、清員は松平元康(家康)の支援を受けて五本松城を回復して西郷氏の本拠地とした。以降、月ヶ谷城の名は史料に登場しない。
　ちなみに、西郷氏の家督は元正の遺児･義勝が継ぎ、清員が後見を務めた。義勝の妻は夫の死後､清員の養女として家康の側室(西郷局)となり、2代将軍･徳川秀忠と松平忠吉を産んでいる。