当初の建物は1600(慶長5)年10月に初代木曽代官に任命された山村良候のときに築かれた。木曾氏の館跡である現在の福島小学校の敷地を含む広大な土地に、大小30余りの建物が軒を連ね、20ヶ所の庭園があったという。1870(明治3)年に大部分が取り壊され、現存するのは1723(享保8)年以降の下屋敷と庭園の一部である。
　木曽諸将の頭目であった山村氏(良候･良勝父子)は、関ヶ原の戦いで徳川家康から木曽地域の攻略を命じられ、功績をあげた。戦後は父･良候の死後、良勝は家督を継いで5700石の領主となり家康に仕え、江戸幕府旗本(交代寄合)として福島関所の関守も兼ねた。しかし、1615(元和元)年に木曽全域が尾張藩の所領となったため、幕府の旗本ではなく尾張藩直属の木曽代官となる。山村甚兵衛家は江戸時代を通じて、木曽代官と福島関所の管理者を代々世襲した。山村家の墓所は興禅寺にある。
　建物内では山村家ゆかりの書画や調度品、復元された饗応料理のレプリカなどが展示されている。山村家の儒臣であった石作駒石の書斎｢翠山楼｣も移築され、公開されている。庭園は木曽駒ヶ岳と永田山を借景とする池泉回遊式庭園である。また、代官屋敷跡の東側、小学校の南側には当時の東門跡の石垣が残されている。