創建年は定かではないが、741(天平13)年に聖武天皇が飢饉や旱魃，疫病などが鎮まることを願い、全国に命じて造らせた美濃における国分寺跡で、1916(大正5)年に耕地整理に際して金堂基壇が発見され、以降の発掘調査にて全貌が明らかになった。
　寺域は東西230m,南北250mで、築地塀をもって区画されていた。主要伽藍として、南門･中門･金堂･講堂･僧房(推定)が南から一直線に配されていた。そして、中門左右からは回廊が出て金堂の左右に取り付き、その回廊で囲まれた内側の東寄りに塔が配される大官大寺式伽藍配置である。
　南門は国分寺の正面門。基壇は削平されていたが、側溝から東西19.8m,南北12mと推定される。現在は同位置で基壇が盛土により標示されている。南門の北に中門が位置し、左右には回廊が取り付く。基壇は東西18m,南北8.2mを測る。建物の掘立柱の柱根数本が検出されている。中門左右から出て金堂左右に取り付く回廊は檜皮葺の屋根付きの廊下で、中門幅は6mで、回廊全体としては東西120m,南北93mを測る。
　金堂は本尊を祀る建物。基壇は塼積基壇で、東西36.5m,南北22.85mを測り、南北両面中央に階段を付す。基壇上建物は棟を東西方向とする桁行7間×梁間4間の建物で、東西29.4m,南北16.2mを測り、四囲に庇を付す。
　回廊内側の東寄りに経典(金光明最勝王経)を納めた塔がある。基壇は塼積基壇で、東西19.0m,南北19.2mを測る。基壇上建物は七重塔と見られ、3間四方で一辺10.8mを測り、高さは58mと推定されている。現物の礎石が露出展示されている。また、回廊内西寄りに用途不明の建物跡が見つかっている。基壇･礎石は検出されていないが、雨落溝内からは平安時代の瓦が出土しているため、仁和期(885～889年)の火災後の再建建物と推測する説がある。
　講堂は経典の講義･教説などを行う建物で、金堂の北方に位置する。基壇は石積基壇で、東西27m,南北18メートルを測る。基壇上建物は礎石建物で、棟を東西方向とする桁行5間×梁間4間の建物であり、東西21m,南北12.18mを測り、四囲に庇を付す。
　僧房は僧(定員20人)の宿舎。回廊西側に西面僧房、講堂北側に北面僧房、回廊東側に東面僧房の存在が推定される。西面僧房は掘立柱建物で、棟を南北方向とする桁行10間以上×梁間3間の建物である。
　このほか、回廊外側の金堂･講堂の間の東寄りに経典を収蔵した経蔵、経蔵とは伽藍中軸線に対して左右対称位置に鐘楼跡が確認されている。さらに、寺域を区画する幅6.2m(下部),高さ3m(推定)の築地塀があり、南･北･西側では塀外に幅約3mの大溝が巡らされていた。
　古代国分寺は887(仁和3)年に焼失、その後の再建を経て12世紀末頃には衰退したとされる。そして、1615(元和元)年に土中から平安時代作とされる一木造の巨像の薬師如来像が発見され、それを本尊として現国分寺が再興された。