1475(文明7)年、松平宗家4代･親忠が井田野の戦いで亡くなった者たちの亡霊を弔うために念仏堂を建てたのが始まりで、寺院として整備されたのが西光寺である。
　1467(応仁元)年8月23日、尾張国品野と三河国伊保の軍兵が大挙して井田野に攻め寄せたが、松平親忠は500余騎でこれを迎え撃ち、激戦の末に打ち破った。親忠は戦死者を敵味方の区別なく丁寧に葬った(千人塚：西光寺から50ⅿほど南へ行ったところにある)。
　しかし、1475年頃になると、周辺ではさまざまな異変が起こり、夜には千人塚から鎧や刀を打ち合う音や軍馬のいななき、苦しげなうめき声が聞こえてくるようになる。さらには疫病も流行するようになった。この亡霊を弔うために親忠は、塚のほとりに念仏堂を建てた。ちなみに大樹寺もこのときに建立された一寺が起源となっている。
　また、西光寺本堂の左隣には、松平元康(徳川家康)が桶狭間の戦いの後に大樹寺に逃げ込んだ際に、追っ手の織田勢と戦って戦死した多くの僧を葬った｢大衆塚｣がある。石造阿弥陀如来坐像(岡崎市指定文化財)が祀られている。