1604(慶長9)年、平岡頼勝によって築かれた。平岡頼勝は備前岡山城小早川秀秋の家老で備前国児島郡に二万石を領していたが、浪人した後に徳川家康に仕え、一万石を賜り徳野に陣屋を構えた。
　1607(慶長12)年に頼勝が没すると、嫡子の頼資が家督を継ぐ。1653(承応2)年には頼資が没したが、嫡子頼重は家督を継ぐことを許されず徳野藩は改易、平岡頼重には改めて一千石が与えられ旗本となった。家督を継ぐことができなかったのは、嫡子頼重と庶長子平岡新十郎との家督争いの他に先代頼資生前の不法の事が理由とされる。
　平岡氏の後は旗本岡田善政が陣屋を利用し、大久保氏を代々の陣屋守としておいていたという。
現在は、わずかに陣屋の井戸が残るのみである。徳野藩初代平岡頼勝の墓は禅台寺、二代平岡頼資の墓は専養寺にある。