創建時期は定かではないが、平安時代前期に相応によって金峯山寺の有力な塔頭の一つとして創建されたと伝えられ、吉野奥院とも呼ばれた。安禅寺の別当が宝塔院であった。
　元弘の乱(1331～33年)の際には、護良親王が愛染宝塔を中心に吉野城本営とした。江戸時代には豊臣秀頼が壮麗な蔵王堂(本堂)や愛染宝塔(多宝塔)をはじめとした堂塔伽藍を再建したが、明治の廃仏毀釈によって全ての建物が破却されてしまった。宝塔院の位置については定かではないが、奈良時代末期に報恩大師(快賢芳賀坊)によって建立されたという。快賢芳賀坊は30歳(747年?)で吉野山に入り、752(天平勝宝4)年には孝謙天皇の病を加持した功により、｢報恩｣の名を賜った。
　なお、ここで祭祀されていた蔵王堂本尊の蔵王権現立像と愛染明王は、現在は金峯山寺に客仏として安置されている。また、護摩堂は善福寺に移築された。