築城年代は定かではないが、京極氏によって築かれたとされ、その後、六角氏と浅井氏との対立激化に伴い争奪戦が行なわれ、1517(永正14)年、浅井亮政によって攻め取られ、改修された。
　標高311.9mの山頂に北城、その南の頂部に南城を構える。北城は頂部が削平され北に伸びる尾根に二段の曲輪があり、西に伸びる尾根には四段の曲輪と途中に二重堀切がある。南城は主郭の東西に低土塁を残し井戸跡があり、北に虎口を開いている。主郭の西側と北側には竪堀がある。その機能は堅固で典型的な戦闘用の山城であったといえる。
　1570(元亀元)年、姉川の戦いでは、織田信長が横山城の北の尾根端の竜ヶ鼻砦に陣取り、柴田勝家,木下秀吉等に横山城を攻略させた。浅井氏から奪った横山城を預かった秀吉は、その後、浅井氏の攻撃を幾度か受けたが、1573(天正元)年に浅井氏が滅亡するまでの約3年間守り通した。信長自身も本願寺攻め,小谷攻めに際して何度も本拠地として利用するなど重要な役割を果たしている。