1368(応安元)年、新居村領主であった水野良春が弟の報恩陽を定光寺から招聘して開基となった。良春は1374(応安7)年に没し、当寺に葬られている(水野良春墓所)。その後、幾度も火災に見舞われ、現在の本堂はコンクリート造りである。
　本堂の東側の丘陵に高さ10mほどの巨大な厄除弘法大師像がある。その昔、新居村に大池があり、たびたび大水害が起こり堤防が破壊されたため、機織りの娘を人柱として堤防を築いたところ水害は免れた。しかし、娘の忌日に機織る者が必ず横死することより、娘の菩提を弔うため退養寺では厄除弘法と称した霊像を安置した。厄除弘法大師像はその化身とされている。1931(昭和6)年に築造された。なお、当時、瀬戸電気鉄道が鉄道利用者の増加を狙って観光用に作ったとの側面もある。