天文年間(1532～55年)、五本松城主･西郷正勝の子である西郷清員によって五本松城の支城として築かれたとされる。西郷氏は、松平清康,今川義元に仕えていたが、1560(永禄3)年に桶狭間の戦いで義元が討死すると、西郷正勝と元正(清員の兄)の親子は他の東三河国人衆と相語らい、今川氏傘下を離反し三河の松平氏に転属した。このため東三河の諸勢力が今川氏に差し出していた人質たち13人は、吉田城下の龍拈寺で串刺し刑に処せられている。また、1562(永禄5)年には今川方により西郷氏の居城である五本松城,月ヶ谷城を攻められ、父と嫡兄を同時に失い清員も捕らえられたが(たまたま不在だったとの説もある)、逃げ出して野田城まで落ち延び、菅沼氏の援助を受けたとされる。
　1571(元亀2)年、武田信玄の西進の先遣･秋山虎繁の侵攻を受けたため、菅沼定盈らと迎撃戦を展開したが、元正の子で総領であった義勝が戦死した。
　清員の子･家員は、1575(天正3)年の長篠設楽ヶ原の戦いで酒井忠次に属して鳶ヶ巣山砦の攻撃に参戦し、戦功により遠江国諏訪原城へ移った。1584(天正12)年の小牧長久手の戦い、1590(天正18)年の小田原征伐に参戦し、家康関東移封に伴い、家員も下総国生実へと移ったことで西川城は廃城となった。
　なお、清員は家康から姪を側室にと望まれたため、一旦自身の養女としたのち、差し出している。彼女が後に徳川秀忠,松平忠吉の生母となる西郷局である。
　また、1663(寛文3)年、三河吉田藩主･小笠原長矩が弟の小笠原長秋に2000石を授け、ここに陣屋を置いている。
　城跡は大福寺裏手の標高40ｍ,比高20ｍほどの台地端にあり、100m×100mの単郭で南に虎口を開き、その両脇に土塁が設けられている。曲輪の南西側には櫓台と思われる方形の土塁がみられ、さらに低い土塁が続く。現在は栗園になっている西側にも虎口があり、そこから南にかけては横堀が掘られている。