1166(仁安元)年、中原兼遠が宮の原に館を築いて、木曾義仲の元服の引き出物として祝い、真言宗の圓成阿闍梨を招き、源氏再興の祈願所として柏原寺を建立したのが始まりとされる。当初は、館の鬼門にあたる巴淵に近い山吹山の麓の集落に建立されていた。1168(仁安3)年、義仲は病没した母･小枝御前を柏原寺に手厚く葬った。
　1184(寿永3)年1月20日に粟津の戦いで義仲が戦死すると、大夫房覚明が位牌を納め、山号は朝日将軍から日照山とし、寺号は義仲の法名の｢徳音院義山宣公｣から徳音寺に改め、開基は朝日将軍木曾義仲宣公大居士とした。その後、二度の水害を遭い、古文書等を含む全てが流出し、すこぶる衰退して無住の状況が続いたとされる。現在は柏原寺開山の圓成の位牌が一基残るのみである。
　1544(天文13)年、木曽川で大洪水が起きた際に美濃国恵那郡奥渡の押上岩に厨子が漂着した。厨子には義仲の旗紋があり、義仲の持仏･十一面観音であることが判り、徳音寺の伽藍の一部が洪水で流されたものとされた。現在、この十一面観音は、岐阜県中津川市の高徳寺に祀られている。
　その後、1579(天正7)年、美濃国の梅龍寺七世の大徹法源の法嗣の大安が中興し、臨済宗妙心寺派に改宗して妙心寺の直末となった。1673(延宝元)年と1714(正徳4)年にも水害に遭い埋没したため、1716(享保元)年に現在の地に移転･再建された。元の地は徳音寺集落で、開山の圓成の墓が残っている。
　鐘楼門は、1723(享保8)年に木曾義陳の発願により、尾張藩の家老で犬山城主･成瀬正幸の母堂が施主となり、巾番匠棟梁の狩戸彌兵衛久正のもとで建立された。1725(享保10)年の秋には、成瀬正幸の母の寄進により梵鐘が鋳造され設置された。｢徳音寺の晩鐘｣は｢木曽八景｣の一つに数えられ、中山道を通行する旅人に親しまれた。1942(昭和17)年には、太平洋戦争時の金属回収により供出したため失われたが、1951(昭和26)年に鐘銘は元のままで再鋳されている。
　本堂は1793(寛政5)年に再建。切妻造の本堂の前には、巴御前の騎馬像とつらぬき石がある。瑠璃堂(御霊屋)は1766(明和3)年1月の再建で、本尊は薬師如来、義仲の木像と一族の位牌が安置されている。
　木曾義仲公霊廟は木曾義陳により天明年間(1781～89年)に建立された入母屋造で、義仲一族の位牌が安置されている。その右手には、義仲を中心に、小枝御前，巴御前，樋口兼光，今井兼平ら一族郎党の墓がある(木曾義仲一族墓所)。
　なお、徳音寺の前には義仲館があり、正面には木曾義仲と巴御前の像が建てられている。