574年(敏達3)年にこの地で厩戸皇子が生まれたとされ、当時ここには橘宮という欽明天皇の別宮があった。606(推古14)年、厩戸皇子により宮を改造して橘樹寺が建立された。当初は東西870ｍ,南北650ｍの寺地に金堂,講堂,五重塔をはじめ66棟の堂舎が建ち並んでいたが、相次ぐ失火や1506(永正3)年の多武峰大衆の襲撃により焼亡した。1834(天保5)年、京都中井家に依頼して大修理が企画されたが実現せず、1864(元治1)年、栢守山弥市郎と畑多根井弥太郎両氏の尽力によって再興されるにいたった。これが現在の橘寺の建物である。
　善悪二相を表した二面石や五重塔跡の心礎がある。