築城年は定かではないが、今川氏によって築かれた山崎の砦が土台となっている。1568(永禄11)年12月、武田信玄が高天神城攻略のために大井川を越え侵攻し山崎の砦を攻略した。対して徳川家康は松平真乗に城砦周辺の領地を与え、1570(元亀元)年4月に城砦を落とすことに成功する。
　1571(元亀2)年2月、信玄は再び甲州から2万5,000の兵を率いて攻め入り、真乗から奪取して小山城と名付けた。これまでの小規模な城砦は馬場信春により本格的な平山城に改修され、大熊朝秀を城主において遠州攻略の拠点とした。
　信玄の死後、武田勝頼が遠州攻略を引継ぎ、諏訪原城を築城して1574(天正2)年には高天神城を奪取する。小山城は滝堺城などと同じく高天神城への重要な補給路となる。しかし、1575(天正3)年に勝頼が長篠の戦いに大敗すると諏訪原城も武田側の援軍は期待できず、城兵は城を維持し切れなくなり小山城に退去した。同年9月、勢いに乗った徳川軍は小山城を攻撃したが、大熊朝秀,岡部元信らの防戦により落城は免れた。
　諏訪原城を奪われた武田方は、1576(天正4)年3月に小山城と高天神城の間に相良城を築き高天神城への補給路を維持しようとするが、徳川方も周辺の城を攻略し、高天神城の補給路を巡る争いが続いた。小山城はその後も度々攻撃を受けている。
　1581(天正9)年3月25日、徳川方の兵糧攻めで高天神城が落城し、さらに翌年に織田･徳川軍による甲州征伐が開始されると、小山城の兵たちは城を捨て自落した。
　小山城は湯日川に面した舌状台地上に築かれ、東から本曲輪，二の曲輪，三の曲輪と並ぶ連郭式の城である。甲州流築城術の特徴である丸馬出しや三日月堀を持つ。また、三の曲輪には三重堀が状態よく残されている。
　城跡は現在、能満寺山公園となっており、天守閣部分を犬山城のそれに模した模擬天守(史料展示室兼展望台)が設けられている。