聖武天皇が741(天平13)年に発した｢国分寺建立の詔｣により、国分尼寺とともに当時流行していた疫病や天災,内乱を仏教の力で鎮めることを目的として建立された。三河国分寺の場合は、金堂に先立って塔が建立された点、三河国分尼寺にやや先行する点が明らかとなっている。また、尼寺跡出土の鬼瓦が形式化の進んだ様相であることから、両寺が他国の国分寺に遅れて建立された可能性が高い。さらには、伝わる銅鐘(国の重文)が平安時代初頭頃の作と推定されることから、鐘楼の建立は平安時代初頭の可能性もある。
　寺域は180m四方で築地塀に囲まれ、その東寄りに南大門,金堂,講堂が南北に一直線上に並び、西寄りに塔が位置する国分寺式伽藍配置(東大寺式伽藍配置の略型)である。また、中門左右からは回廊が出て金堂左右へとつながる。塔の基壇は現在も高さ約1.5mの高まりとして遺存するが、南側では後世の削平を受けているほか、北側,西側では戦国時代に八幡村城の土塁として盛土がなされ、改変が加えられている。礎石2個が現存する。基壇規模が小さいことから通常の七重塔ではなく五重塔であったと推測されている。
　古代の国分寺は、発掘調査によれば10世紀後半頃に荒廃,廃絶したと考えられ、その後、永正年間(1504～21年)に機外和尚により現在の国府荘山国分寺が再興されたという。再興後の境内は古代国分寺跡と重複していたが、現在は東方に移されている。
　なお、寺の西方には国分寺鎮護の神社として八幡宮がある。