1401(応永8)年、悦山暢喜上人を開山として、徳永城主の徳永小七郎義雄が一宇を草創したのが始まりである。悦山暢喜上人は応永初期に当国遊化の折、法蔵寺･龍芸上人の化導を受け、弟子となった高僧である。1411(応永18)年4月23日に義雄は入没し、当寺に葬られた。
　15世紀後半から16世紀後半にかけて、ここ道目記では、豊かな米の産地であったため地権争いが度々起き、道目記の戦いで戦死をした武将の墓が大将塚として祀られていた。また、無名戦士の墓も不退院の墓所から少し離れたところに葬られている。
　徳川家管轄の寺領となると、争いは無くなり、その功績を称えるために、不退院の屋敷から少し離れた所に権現さんが祀られ、崇め尊ばれた。徳川家の影響が大になり、不退院の住職は、その後、数代にわたり徳川の家臣の家柄の者が継ぐことになる。正親町天皇の1572(元亀3)年、当山6世･本翁意伯(鳥居忠吉の子)が勅願によって参内して曼荼羅を講筵し｢上衍寺｣の勅額を賜った。1567(永禄10)年9月29日に入没した荒川城(八ツ面城)主･荒川義広、及び1593(文禄2)年5月2日に入没したその妻･市場姫(家康の異母妹)の墓も当寺にある。当山7世･頓翁意傅の代の1602(慶長7)年、徳川家康より寺領13石5斗の寄進を受け、御朱印寺として寺紋に三つ葉葵の紋を授かった。