築城年代は定かではないが、三河守護職となった仁木義長に従って九州より三河国へ移った西郷氏によって15世紀半ば頃に築かれたとされる。標高約195m(比高約100m)の山上一帯に東西約400ｍ,南北約250ｍと、愛知県内の戦国期山城の中で最大級の規模である。
　大草西の坊に本拠を置く西郷稠頼(青海入道)は岡崎明大寺に明大寺城(平岩城)を築き、次いで乙川北岸の竜頭山の先端(近世岡崎城の本丸部分)に岡崎城(砦)を築いた。これによって西郷氏は西矢作と東矢作をめぐる東西交通の要を押さえることとなった。
　やがて、岩津を本拠とする松平信光が勢力を拡大し、西郷氏を屈服させる。西郷頼嗣は松平3代信光の5男光重を養子に迎え自らは大草へと退いた。その後、岩津の松平宗家は今川氏の武将として来攻した伊勢新九郎(後の北条早雲)によって消滅し、安城に分家していた松平親忠が総領家となって松平親忠－長親－信忠－清康－広忠－家康へと続くことになる。
　松平清康の時代になって、再び岡崎城の西郷信貞(頼嗣の子)との対立が顕著になり、1524(大永4)年、清康の命を受けた大久保忠茂らの嵐をついた奇襲で詰城の山中城は一夜にして落城した。信貞は清康に岡崎城を譲り、娘の波留を嫁がせている。
　1535(天文4)年、森山崩れで清康が亡くなると、山中城は今川氏の西三河攻略の拠点となる。1548(天文17)年、今川義元と織田信秀との2度にわたる小豆坂合戦時には山中城は、岡城,生田城と共に今川軍の重要拠点となっている。　
　1560(永禄3)年、桶狭間の戦いで今川義元が討たれると、松平元康が久松俊勝とともに攻め落とし、再び松平氏のものとなる。この時期、対織田,今川に対する戦略上、大規模な改修がなされたと考えられる。1563(永禄6)年、一時三河一向一揆衆に占領されたが、1564(永禄7)年以後は1590(天正18)年の家康の関東移封による廃城まで酒井忠次はじめ酒井氏が山中を領し維持管理した。
　城道は往時とは異なるものの家康関東移封当時の姿を比較的よく残している。主郭と二の郭は東西に続き西側は土塁が周囲を巡る。主郭の北東下に東郭があり、そこからさらに降ったところに馬出しがある。主郭からは西北,北,東に広がる3本の尾根の主要部に曲輪をつらね、西部は二重堀切で尾根筋を断ち切ると共に3段にわたる大規模な帯曲輪で防備を固め、処々に腰曲輪や多いの竪堀を配している。