7世紀に役小角(役行者)が開創したと伝わる。ただ、行者自体が半ば伝説化された人物であるため、金峯山寺草創の正確な時期などについては不詳である。本尊は蔵王堂に安置される蔵王権現立像3躯。本尊の中尊は約7mもあり、かつ秘仏とされ｢日本最大の秘仏｣とも称される。方広寺大仏(京の大仏)の造仏にも携わった南都仏師の宗貞･宗印兄弟が手掛けたことがわかっている。
　金峯山寺の中興の祖とされるのは、京都の醍醐寺を開いたことでも知られる真言宗の僧･聖宝である。『聖宝僧正伝』によれば、聖宝は、894(寛平6)年、荒廃していた金峯山を再興し、参詣路を整備し、堂を建立して如意輪観音，多聞天，金剛蔵王菩薩を安置したという。この頃から金峯山は山岳信仰に密教･末法思想･浄土信仰などが融合して信仰を集め、皇族･貴族などの参詣が相次いだ。900(昌泰3)年の宇多法皇、1007(寛弘4)年の藤原道長、1088(寛治2)年の藤原師通、1092(寛治6)年の白河上皇などが知られている。このうち、藤原道長は山上の金峯山寺蔵王堂付近に金峯山経塚を造営しており、日本最古の経塚として知られている。
　蔵王堂は、1093(寛治7)年、1225(嘉禄元)年、1264(文永元)年に焼失しているが、その都度再建されている。元弘の乱が起きると、1332(元弘2)年に後醍醐天皇の皇子である護良親王が金峯山寺の僧兵を味方に付け、吉野山を要害化して吉野城とし立て籠もった。翌年2月には鎌倉幕府の二階堂道蘊が6万余騎を率いて攻め寄せてきたが、二天門で村上義光が親王の身代わりとして自害している間に護良親王は退却した。なお、二天門は焼失したが蔵王堂は無事であった。この後、後醍醐天皇が吉野に移って南朝を興したが、1348(貞和4)年1月28日、後村上天皇の時に足利尊氏の家臣･高師直によって焼き討ちされ、全山焼失している。蔵王堂はその後に再建されたが、1586(天正14)年に焼失し、1590(天正18)年に豊臣秀吉の寄進によって再建され、現在に至る。境内にある威徳天満宮は慶長年間(1596～1615年)に豊臣秀頼によって再建されている。
　1614(慶長19)年、徳川家康の命により、天台宗の僧である天海が金峯山寺の学頭になり、金峯山は天台宗の日光･輪王寺の傘下に置かれることとなった。
　明治に入ると、神仏分離令により1874(明治7)年には、金峯神社を本社、山下の蔵王堂(現･金峯山寺)を口宮、山上の蔵王堂(現･大峯山寺)を奥宮とする命令が出され、金峯山は廃寺に追い込まれた。12月17日には僧坊の一つだった吉水院も後醍醐天皇社(現･吉水神社)として神社化している。それでも僧侶･修験道者らの嘆願により、1886(明治19)年には｢天台宗修験派｣として修験道の再興が図られ、金峯山は寺院として復興存続が果たせた。その際、山下の蔵王堂は金峯山寺、山上の蔵王堂は大峯山寺として、別々の寺院として再興されている。太平洋戦争後には、天台宗から分派独立して大峯修験宗が成立し、1952(昭和27)年に金峯山修験本宗と改称、金峯山寺は同宗総本山となった。
　北に位置するのが金峯山寺の総門である黒門、途中に銅鳥居を過ぎたところに仁王門(国宝)があり、その先の小高くなった敷地に本堂(蔵王堂)が建つ。蔵王堂(国宝)は入母屋造檜皮葺きで、2階建てのように見えるが構造的には一重裳階付きである。高さ34m、奥行･幅ともに36mで木造の仏堂としては全国屈指の規模の建物である。内陣には巨大な厨子があり、本尊として3体の蔵王権現立像(秘仏)を安置する。
　また、蔵王堂前の石柵で囲まれた一廓には｢四本桜｣が植わっており、ここは、1333(元弘3)年、鎌倉幕府軍に攻められた大塔宮護良親王が陥落前に最後の酒宴を催した故地とされている。蔵王堂の南正面にはかつて正門であった二天門跡があり、村上義光は、護良親王の身代わりとしてこの二天門の楼上で自害したと伝えられる。門跡には｢村上義光公忠死之所｣と記した石柱が立つ。