1624(寛永1)年頃の建造とされ、旗本の伊豆木小笠原氏の居館のうち唯一現存するものである。
　伊豆木小笠原家は初代･長巨が1600(慶長5)年に武蔵国本庄から1000石で移封されたのに始まる。長巨は一時、徳川家康から信濃国伊那郡のうち10万400石を支配するように命ぜられ、ここに居館を構えた。また、長巨は、1614(慶長19)年の大坂冬の陣では箱根関を守衛し、1615(元和元)年の大坂夏の陣では松平乗寿軍に属し枚方に帯陣した。
　書院玄関は唐破風造りで、中央の蟇股に家紋の三階菱がついている。書院は平面田字型の四室で、東南西の三方に一間巾の入側縁を廻らしている。奥の火灯窓のある書院の間と次の間とは格天井で、その境に豪放な欄間を付け、次の間の北側の三間の大床とともに豪華な桃山時代の建築様式を示している。また、南側3分の1を崖上に突出した懸造りは全国的にも珍しい遺構である。
　なお、1999(平成11)年10月には隣接して小笠原資料館が開館し、小笠原家関連資料を見学することができる。