築造年は定かではないが、1601(慶長6)年から天領となった赤坂の地に陣屋が置かれ、年貢の徴収や訴訟などを取り扱った。当初、赤坂町東裏(龍泉院辺り)に置かれたが、1689(元禄2)年には赤坂町西裏の神木屋敷(旧･赤坂保育園辺り)へ移された。寛政年間(1789～1801年)以後になると、遠江国中泉の代官が支配し、赤坂は中泉陣屋の出張陣屋となる。明治維新を迎えると三河県役所に改められ、手狭になったため1869(明治2)年には再度、赤坂町東裏へ新築移転されたが、1872(明治5)年、廃藩置県により廃止となった。
　西裏の陣屋跡は正法寺と浄泉寺の間にある旧･赤坂保育園の地とされるが、遺構は残されていない。大橋屋の横を入る道が、陣屋への通路であった。また、陣屋の山門(薬医門)は豊川市白鳥町の法雲寺に移築されており、急用の場合等に注進の侍が早馬に乗ったまま通り抜けられるように普通の門より高くなっている。