創建年は定かではないが、南北朝時代の領主･戸ヶ崎次郎義宗が照璟光山慧珉上人に深く帰依し、慧珉上人に44石の荘園を寄付して一寺を創建したことに始まる。さらに、1350(正平5/観応元)年には本堂や庫裡等を新築して当時32歳の慧珉上人を当山の開山と定めた。当初は｢慶巖寺｣と称した。
　開基の義宗は、1393(明徳4)年、道目記の合戦で戦死し当山に葬られた。義宗の戦死の翌日、夫人の富波姫は夫を慕って自決したとも、またあるいは、長刀の名手として勇ましく戦い、30を超える首級をあげて戦死したとも伝えられており、同じく当山に埋葬された。慧珉上人は1398(応永5)年に81歳で遷化している。
　戦国時代になると、矢田松平家の国森城主･松平甚六康忠は、第4代住職･尊阿照翁等意上人に深く帰依し、父の松平張忠の菩提を弔うため当山を菩提寺と定め、1537(天文6)年に本堂をはじめとして殿舎を再建した。康忠は1540(天文9)年6月、安城合戦にて戦死し当山に葬られた。
 慶長年間(1600年前後)に描かれた古絵図によれば、境内12,000坪、2ヶ寺の塔頭寺院を含み、浄土宗西山深草派三河十二本寺の一つとして、浄土念仏道場の拠点となっていた。1602(慶長7)年、第9代･及翁祖玄上人の頃より寺号を｢桂岩寺｣と改めている。
　その後、自然災害，飢饉や経済破綻、また、明治時代の神仏分離･廃仏毀釈や戦後の農地解放などにより、その規模は縮小された。