創建年は定かではないが、平清盛の子･平重衡と縁の深い寺である。平家都落ち後、重衡は一ノ谷の戦いで捕らえられ鎌倉に護送されたが、東大寺,興福寺の焼討を憎む南都衆徒の強い要求により処刑されることとなる。
　重衡は再び京へ送られ、1185(文治元)年7月23日、木津川の河原で処刑が行われた[享年29]。このとき近くの古堂から運び出した阿弥陀像を重衡の前に置き、阿弥陀の御手に結んだ紐を重衡が持ち、念仏を唱えながら斬首されたという。古堂は、平重衡の死を人々が哀れみ、いつしか哀堂と呼ばれるようになった。安福寺の前身である。山門をくぐったすぐ横に平重衡の墓と伝わる十三重石塔が建てられている。
　また、北西の木津川堤防には｢首洗い池｣が残り、その側には重衡が最後に食べた柿の種が生長したもので実がならないと伝えられる｢不成柿｣と呼ばれる柿の木がある。