1562(永禄5)年、徳川家康が大樹寺15世･黁誉魯聞を開山として創建した。家康の祖父である松平清康と清康の妹･久子(於久)の墓がある。
　1535(天文4)年、松平清康は家臣だった阿部正豊により守山城攻略中に殺害され(守山崩れ)、遺骸は長縄城付近で仮葬(松平清康仮葬地跡)されたのち、菅生丸山(当寺)で荼毘に付された。
　久子は兄･清康の養女となり、松平乗勝に嫁ぐが乗勝が29歳で没したために足助城の鈴木重直と再婚する。しかし、守山崩れ後に重直は松平氏を離反するために彼女は離縁させられて岡崎城に戻された。竹千代(家康)の幼少時に両親(松平広忠と於大)が離婚すると養育係として松平家宗家に仕えた。竹千代が今川氏の人質となっていた時代には岡崎城にいる安祥松平氏の直系血縁者は彼女1人になってしまう。彼女は竹千代に代わって松平氏当主の権限の一部を代行していたとする説もある。久子は1561(永禄4)年、元康が桶狭間の戦い後に岡崎城に戻った翌年、城中で没した。
　元康は久子を敬慕し、没後は祖父･清康の墓の隣に彼女の墓を設け、寺名も彼女の法名から随念寺と命名した。
　江戸時代初期に入ると、松平氏ゆかりの寺社は家康の先祖に対する権威付けにより寺格が高められた。1619(元和5)年には徳川秀忠によって本堂が再建され、これまで災害,戦火に遭うことなく旧三河国内最古の浄土宗本堂建築とされる。山門は入母屋,桟瓦葺,一間一戸,四脚楼門、上層部は鐘撞堂,花頭窓(2連)付,高欄付の様式である。