真言宗智山派の寺院で山号は愛藤山。創建は天平勝宝年間(749～757年)、行基が開基であると伝えられている。1173(承安3)年には一帯を荘園として所有していた平重盛が建物を改築し領地を与えたことから、彼の別称である小松殿(または小松内大臣)から取って小松寺と称するようになった。しかし、1221(承久3)年に起こった承久の乱で寺院が焼失して以降、約250年間に亘って廃寺となっていた。
　文明年間(1469～86年)、全慶僧侶によって再興されたと伝えられる。しかし、1584(天正12)年の小牧長久手の戦いで、小松寺周辺には羽柴秀吉方によって小松寺砦が築かれ、秀吉方は撤退する際に寺に火を付けたため建物や宝物などが焼失した。
　その後、1595(文禄4)年に秀吉から領地を与えられて再び再建され、1621(元和7)年には、徳川義直からも領地を与えられている。
　現在の本堂は1657(明暦3)年に建造されており、銅製釣灯籠,絹本着色千手観音菩薩像とともに小牧市の有形文化財に指定されている。八所社･熊野社合殿が隣接している。