築造年代は定かではないが、1641(寛永18)年頃に加賀爪直澄によって築かれたとされる。直澄は、乱暴旗本の旗本奴として有名であったが、幕政では徳川家光の下で小姓を務めたのち2000石が与えられ、書院番頭･大番頭などの要職を歴任した。1641年に父･忠澄が死去するとその旧領9500石を合わせて、1万1500石の大名となる。ただし相続の際、弟2人にそれぞれ1000石,500石を分知したため1万石となったが、1668(寛文8)年には3000石を加増され1万3000石となった。1679(延宝7)年に養嗣子の直清に家督を譲るが、その際の書類の不備などにより直清が成瀬正章と領地問題で争いを起こし、直清は責任を問われ、1681(延宝9)年2月9日に改易となった。
　屋敷の遺構は残されていないが、屋敷の門が約1.4kmほど南の民家に移築され使用されている。