994(正暦5)年、伴助高が八名,設楽両郡の郡司となり、後に姓を設楽に改めたのが設楽氏のはじまりとされ、郡司として8代続いたといわれている。
　設楽氏の居館は鎌倉時代に設けられた。堀と土塁に囲まれたものであり、今でも寺の西側には往時の堀跡が残っている。かつては水が引かれた堀であったということである。
　設楽氏は菩提寺として館のすぐ南に金剛山自性寺を建立し、鎌倉末期には、豊川沿いの岩広城にその本拠地を移し、さらに勝楽寺を菩提寺とした。
　増瑞寺は1574(天正2)年に野田城主の菅沼定盈によって設楽氏居館の地に創建され、設楽ヶ原の戦いの後、新城城の奥平信昌が再建したもので、地蔵堂は信昌の妻である亀姫が深く信仰していたという。