築城時期は定かではないが、奥平貞久の三男である夏山奥平但馬久正の居城とされる。2代目城主能正を経て3代の勝正は、1560(永禄3)年の丸根砦の戦いをはじめ、姉川の戦い,三方原の戦い,長篠設楽原の戦い、そして小牧山の戦いなどで多くの戦功を挙げ、1602(慶長7)年に宇都宮2300石を得て、1627(寛永4)年に没した。夏山城の廃城時期は不明であるが、現在は山頂に秋葉神社が祀られている。また、堀切と曲輪を確認できる。