築城年は定かではないが、加賀国生まれの山田源内が諸国を放浪の後、1560(永禄3)年頃に三河国碧海郡橋目村に落着き、座敷城を築いたと伝えられる。また、城の南側には自らの氏神である白山大権現を勧請して、白山社を建立した。子孫は庄屋を務めたという。
　城は1752(宝暦2)年の矢作川堤防決壊で流失したとされ、確定的ではないが、白山神社からその東辺りが城跡とされている。現在は田畑に変わり、遺構は残されていない。神社前に山田源内の石碑が建ち、橋目町上保区画北端の畑地内に山田源内の墓がある。