第8代将軍徳川吉宗の信任を受け江戸南町奉行として享保の改革を実行した大岡忠相が、寺社奉行時代の1748(寛延元)年、奏者番に就任し、それまでの功績により4000石の加増を受け、西大平1万石の大名となった(江戸町奉行から大名になったのは忠相のみ)。ただ、藩主は江戸に居住し参勤交代をしない定府大名であり、西大平村に陣屋のみが設置された。忠相は西大平を訪れることなく死去している。大岡氏の所領は本貫地である相模国高座郡大曲村のほか関東各地に分散しており、所領統合を申し出ていたが、第3代藩主忠恒の頃に三河国への所領統合が完了した。　陣屋は明治に入って廃止されたが、藩主を慕う旧藩士や領民らの嘆願により陣屋跡が復元されている。