1513(永正10)年頃、松岡城主の松岡右衛門大夫貞正(明甫正哲)によって開創された臨済宗妙心寺派に属している禅寺である。開山は貞正の実弟で遠江の自浄院(のちの龍潭寺)の住職をしていた文叔瑞郁。
　1545(天文14)年から12年間、遠江井伊谷城主・井伊直平の孫の亀之丞(井伊直親)が匿われていたことでも知られる。1544(天正13)年の暮れ、井伊直平の子・直満と直義は駿河の今川義元からあらぬ疑いをかけられ斬殺された。直満の嫡男･亀之丞も命を狙われたが、家老の今村藤七郎が背負い落ちのびてきた。年が明けた正月3日の夜のことである。龍潭寺の南渓瑞聞(亀之丞の伯父)の師である黙宗瑞淵(龍潭寺の開山)が文叔の弟子であるという法縁によるものである。亀之丞は、松岡城主･貞利の指導もあって学問や武術の稽古に励み成長した。
　1582(天正10)年、織田信忠軍の甲州征伐での兵火により堂塔が焼失し、さらに1588(天正16)年には松岡家が徳川家康によって改易となった。1603(慶長8)年頃、現在の松岡城の跡地に移された。なお、堂宇は1897(明治30)年の焼失後に1900(明治33)年に再建されたものである。