672年、壬申の乱において大海人皇子(後の天武天皇)が美濃国出身の舎人である村国連男依らに命じ、安八麿郡(安八郡)湯沐令の多臣品治が郡で兵の徴発を行って古代東山道の不破道を塞いだのが始まりとされる。これにより、大友皇子の近江朝軍の東国との連絡網を遮断したことが、大海人側の大きな勝因となった。
　壬申の乱後、8世紀初頭頃、律令体制のもとで都の警護のため、東海道の鈴鹿関，北陸道の愛発関とともに東山道に不破関が｢三関｣として整備され、この関より東側の地方を指して、古くは｢関東｣と呼ばれていた。関を置いて守固すべき場合は兵士を配し、不破関では美濃国府の国司4等官が分番守固した。
　789(延暦8)年には、突如として三関停廃の詔が出され、兵器や粮糒(食料)は美濃国府に運収され、館舎は郡衙等へ移建された。ただし、三関停廃の詔以降も、和同開珎や灰釉陶器，山茶碗などの出土品がみられ(不破関資料館に展示)、何らかの施設があったと想定されている。また、幕末までは儀礼的な｢固関｣の儀式が行われていた。
　1974(昭和49)年からの調査では、不破関の範囲は藤古川の段丘崖を西側に、北，東，南の三方を土塁で囲む台形状で広さは12.4ヘクタールに及んでいたことがわかっている。