寺伝によれば、733(天平5)年、行基によって開かれたとされ、当初の寺号は地蔵寺であったが、1093(寛治7)年に井伊共保が葬られた際にその法号から自浄寺と改められ、井伊氏の菩提寺になったとされる。元中年間(1384～92年)、後醍醐天皇の皇子である宗良親王がこの寺を中興したともいう。
　1560(永禄3)年に桶狭間の戦いで戦死した井伊直盛がこの寺に葬られると、直盛の法号から龍潭寺と改められた。関ヶ原の戦いの戦勝にともない、井伊氏が近江国に転封となってからも井伊氏の外護を受け、江戸幕府からも朱印状を与えられた。丈六の仏、釈迦如来坐像(木彫寄木造り;身丈2.8m)は1729(享保14)年建立であるが、お体,お顔に残る傷跡は廃仏棄釈の際につけられたものである。
　小堀遠州作の庭園は、江戸時代初期に本堂北庭として築かれた池泉鑑賞式庭園である。中央に守護石、左右に仁王石、正面に礼拝石(坐禅石)が配され、更に池の型が心字池となっていて、寺院庭園として代表的な庭である。数多くの石組みで、瀧，渓谷が表現され、鶴亀が表現されている。