665年、役小角によって創建されたと伝えられ、676年にはこの寺で祈雨法が修せられて天武天皇から山寺号が与えられたという。役行者の自作といわれる薬師如来像を本尊としている
　812(弘仁3)年に空海によって中興され、1188(文治4)年には空寂が後鳥羽天皇の病気平癒を祈願し、天皇は回復した。そして、その功によって奥の院として善成寺を建て寺号の勅額を賜わっている。
　翌1189(文治5)年､歌人と知られる西行法師が空寂を慕ってこの寺を訪れ、この地で没している(西行墓所)。
　さらに1463(寛正4)年、河内守護畠山政長が当寺に本陣を置いて畠山義就が立て籠もる嶽山城を攻めたところ(嶽山城の戦い)、逆に当寺を攻撃されて善成寺もろとも伽藍は焼失した。その後復興が進み、江戸時代の寛延年間(1747～50年)には歌僧似雲がこの寺を訪れ、西行堂を建立し､自らも当寺で亡くなっている(似雲墓所)。