1342(康永元/興国3)年、南朝方の北畠顕能によって築かれたとされる。別名を多気城。多気は伊勢国と大和国を結ぶ伊勢本街道沿いにある交通の要所であると同時に、天然の要害であった。南朝の拠点である吉野や伊勢神宮に近く、また北朝の都･京都に比較的近いことも利点の1つであった。1336(建武3/延元元)年、後醍醐天皇が吉野山に遷幸の時に北畠親房が南伊勢に下向し、玉丸城(田丸城)を拠点として勢力をのばしたが、足利尊氏はこれに対して幾度となく攻撃し、ついに1342年に田丸城は落城し、顕能は多気郡に逃れて、長期戦に耐えうる城として霧山城を築いた。以降、240年に亘り難攻不落の城としてそびえたっていた。北畠氏は平常時は多気御所に住み、霧山城は詰めの城として使用したという。
　1569(永禄12)年、織田信長が南伊勢に侵攻すると、北畠具教は大河内城に籠城し抵抗したが、やがて信長の次男信雄を北畠の養嗣子として家督を譲ることで和解した。具教は三瀬館に潜み信雄に対抗しようとしたが、1576(天正4)年11月25日、三瀬御所で殺害され、同日、田丸城へと呼び出した長野具藤(具教次男)･北畠親成(具教三男)･坂内具義(具教娘婿)ら北畠一門も暗殺された(三瀬の変)。一連の粛清の手を逃れた北畠の将たちは北畠政成の守る霧山城に集結し抵抗を試みたが、織田信長は即座に羽柴秀吉,神戸信孝,関盛信ら15,000の兵を送り込んで霧山城を包囲し、12月4日には霧山城は陥落し城下も灰燼と化した。
　城は多気盆地の西方にある標高560m,比高240mの山頂に築かれ、急峻な尾根に2条の堀切を設け、長さ120m×幅30mの範囲に北東郭(二郭)と南西郭(主郭)の2郭が存在した。北東郭は矢倉跡とされ三方を土塁で固め、南西郭は北東郭よりも高い位置にあり、四方は土塁が築かれている。南西郭の南下に米倉跡がある。また、この本丸の南峰には鐘突堂と呼ばれる単郭の曲輪がある。
　東麓の北畠神社からのルートで登城の場合、途中に北畠氏館詰城跡がある。