宝暦年間(1751～63年)、北嶋三省の次男･北嶋仲右衛門吉道(元繁)が当所に分家したのに始まる。代々酒造業を営み、粟倉村の庄屋を勤めていた。4代目の仲右衛門吉泰のとき、現在の森町内の旧8ヶ村を支配していた旗本･土屋氏から地代官に取り立てられ(地代官は知行地の町場や米所の有力者から登用)、西脇御役所(陣屋)に勤出して、陣屋の御用金の負担,御蔵米の払い出し,年貢収取,江戸屋敷への送金など財政運営や陣屋の賄い、知行地内の寺社への代参,村役人の統括などに勤めた。
　屋敷跡の長屋門は天保年間(1830～43年)の初め頃の建造とみられ、間口7間2尺6寸(約13.5m),奥行2間1尺5寸(4.1m)で、西側は板の間、東側は6畳座敷2室と押入れがある。
　なお、土屋氏の森町支配は、1679(延宝7)年に土屋逵直が3000石余を充てられて以降、同家当主により代々幕末まで続いた。