本尊は聖観世音菩薩(業平観音とも呼ばれる)。寺号は詳しくは不退転法輪寺と称する。
　近世の地誌類が伝える縁起によれば、809(大同4)年、平城天皇が譲位してのち、この地に隠棲し萱の御所と称する屋敷を創建した。その後、平城天皇の皇子である阿保親王、更に阿保親王の5男である在原業平が暮らしたという。業平が伊勢神宮を参詣したときに受けた神勅を機に、845(承和12)年、仁明天皇の詔を奉って847(承和14)年に萱の御所を寺に改めて業平が自ら聖観音像を刻み、不退転法輪寺と号して阿保親王の菩提を弔い、仁明天皇の勅願所となったのが、寺院としての始まりと伝えられている。寺の近辺からは平安時代前期の古瓦や木簡が出土している。
　860(貞観2)年、阿保親王の弟の真如法親王が平城京内の田地を不退寺に施入している。
　1181(養和元)年、平重衡による南都焼討のために諸堂が炎上し、鎌倉時代になってから西大寺の興正菩薩叡尊によって再興され、中世から近世にかけては西大寺及び興福寺一乗院双方の末寺となって二重の支配を受けていた。　
　1602(慶長7)年には江戸幕府により寺領50石が安堵されており、1683(天和3)年には七堂伽藍が軒を並べていたが、江戸時代中期ごろから衰微し始め、幕末からは明治初期,大正時代にかけては無住となり、西大寺住職が兼務するようになった。1930(昭和5)年4月に青蓮院門跡久邇宮邦英が見学された際、窮状を見聞するや国と話を付けて国庫補助が下り、その年に本堂が、1934(昭和9)年には多宝塔と南門が解体修理された。
　国指定重要文化財として、南門(南大門),本堂,多宝塔,木造聖観音立像,木造五大明王像、そして金銅舎利塔がある。南門は1317(正和6)年の建立で切妻造,本瓦葺。冠木上には笈形調の装飾が見られる。本堂は南北朝時代から室町時代前期の建立で寄棟造,本瓦葺。正面と背面の頭貫は、中央の柱間の部分のみ緩いカーブを付けて虹梁形としており、この形式の早い例とされる。多宝塔は鎌倉時代のもので、当初は檜皮葺きの二層であったが明治時代初期に取り払われ、現在は初層のみが残っている。木造聖観音立像と木造五大明王像は本堂安置。聖観音立像は寺伝に在原業平の作というが、様式的には10～11世紀頃の作とみられる。金銅舎利塔(厨子部分)は奈良国立博物館に寄託されており、厨子内に安置されていた五輪塔形舎利容器は1952(昭和27)年に盗難に遭って行方不明である。
　なお、境内には北東のウワナベ古墳で発掘された5世紀のものとされる石棺も置かれている。