鴨江観音の名でも知られる。創建時期は定かではなく、702(大宝2)年に文武天皇の勅願所として創建されたとも、地元に残る伝説によれば、奈良時代に鴨江の長者であった芋堀長者が行基に願って観音堂を建立したことが始まりともいう。
　長暦年間(1037～39年)、戒壇院設置をめぐり比叡山延暦寺と争った歴史がある。鴨江寺側は延暦寺の僧兵と激戦となったが敗退した。
　また、1333(元弘3)年には鎌倉幕府と戦う後醍醐天皇が同寺の衆徒に領地を与える綸旨を下しているが、これは各地に存在する山岳寺院を中心に仏教勢力を取り込む中で、鴨江寺もその対象に含まれたと考えられる。また、南北朝の争いになると、1339(暦応2)年7月26日、北朝方の武将･高師泰,高師冬らの攻撃によって鴨江城が落城している。当時は鴨江寺が城塞化していたとも考えられるが、城の正確な位置は定かではない。
　その後は、鴨江寺に周辺地域を支配する勢力から安堵状や禁制が出ていることから、寺院として継続したことは確かであるが、規模,勢力は不明である。豊臣秀吉,徳川家康からも寺領を寄進されている。この時期に信海,源昌,尭遍,尭勢といった僧侶が高野山から来ていることから、当時は既に真言宗寺院となっていたと考えられる。
　室町時代の伽藍は1608(慶長13)年に焼失したが、1616(元和2)年に本堂が再建され、江戸時代初期から中期には仁王門、弘法大師を安置した御影堂、薬師如来を祀る護摩堂、聖徳太子を祀る太子堂なども再建された。江戸後期には七堂伽藍が並ぶ大寺となった。
　1876(明治9)年、明治新政府の布達により鴨江寺の名称となる。
　太平洋戦争の最終期、1945(昭和20)年5月24日と6月18日の浜松空襲で全焼したが、時の住職･建部快運は終戦直後に疎開先から戻り、本尊の仮奉安所や彼岸会のための水向地蔵堂を再建した。数年後には観音堂も竣工し1949(昭和24)年には本尊の入仏式が執り行われた。