永正年間(1504～21年)の初めに若山城主の関盛貞が京都大徳寺の末寺として正法寺をこの地に創建し別荘館を兼ねたが、天正年間(1573～93年)の頃、亀山城主･関盛信の代には正法寺は廃絶され、織田信長の伊勢侵攻の際に備えて石垣や土塁が築かれ、砦もしくは詰の城として使われた。
　当初、正法寺をはじめ五つの寺院が堂宇を構えていたが、瑞光寺のみ関氏歴代の菩提所として木崎町へ移転され、他は廃寺となった。城址としては主郭を中心に７つの曲輪が配置された縄張りで、主郭内には建物の礎石,門跡,井戸,石組排水路,土塁の遺構が残されている。
　正法寺の頃には、山荘に連歌師の柴屋軒宗長などを招き、歌会が開かれていたという。