創建年代は定かではないが、延暦年間(782～806年)に最澄が濃尾平野を眼下に見下ろす守山の地に創建したとされる。1755(宝暦5)年に記された古文書｢龍泉寺記｣には、伝教大師(最澄)が熱田神宮に参篭中に龍神の御告げを受け、龍の住む多々羅池のほとりでお経を唱えると、龍が天に昇ると同時に馬頭観音が出現したため本尊として祀った、と記述されている。龍泉の名もこの伝承に由来するといわれている。
　一方、弘法大師空海も同じように、熱田神宮参篭中に熱田の八剣のうち三剣をこの龍泉寺に埋納しており、龍泉寺は熱田の奥の院といわれ、龍泉寺は伝教大師,弘法大師の開基ともされている。
　1584(天正12)年、小牧長久手の戦いの際には羽柴秀吉が陣し、退却時に池田恒興の部下により放火焼失されたといい、1598(慶長3)年に秀純大和尚によって堂塔が再興された。しかし、1906(明治39)年に再び放火に遇い、多宝塔,仁王門,鐘楼を除く全てが灰と化した。ところが、焼跡から慶長小判百枚が発掘され、それを基金として多くの信者の寄付とをあわせ、本堂が再建された。
　龍泉寺は、荒子観音,笠寺,甚目寺と並んで名古屋城を鎮護する尾張四観音の一つとされる。ここは名古屋城から見て鬼門の方角にあたる。
　なお、本堂北側の龍泉寺城模擬天守は宝物館となっている。