741年(天平13年)に聖武天皇によって発せられた国分僧寺･国分尼寺建立の詔に基づく尾張国の国分僧寺の遺構である。規模は東西約200m･南北約300m以上と推定されるが、寺域は確定には至っていない。これまでの調査では、金堂，講堂，塔の遺構が見つかっており、伽藍配置としては金堂，講堂，南大門(推定)が南北一直線に並び、金堂左右には回廊が取り付き、その回廊外の東方に塔を配していたとされる。
　金堂は瓦積基壇で、東西25.6m・南北21.6m。講堂も瓦積基壇であるが、規模は不明。礎石2個が検出されている。塔は瓦積基壇･14.7m四方で基壇のたたきしめが弱いことから、創建時の七重塔ではなく再建時の三重塔(または五重塔)の遺構と考えられている。心礎を含む礎石4個が残る。なお、他に中門，南大門，回廊の遺構は見つかっていない(回廊は一部のみ検出)が、推定寺域内からは大量の瓦が出土している。
　創建後、884(元慶8)年8月に尾張国分寺が焼失し、その機能を愛智郡定額寺の願興寺(現･名古屋市中区の尾張元興寺跡?)に移したと『日本紀略』に見える。また、空也上人は920年代に尾張国分寺で剃髪したとされるが、いずれの寺院かは不明。
　2014年現在では遺構の多くは民有地に所在するため、整備はなされておらず、塔の遺構以外は明示されていない。伝承では、旧国分寺の東西南北には｢四楽寺｣と呼ばれる末寺があったといわれ、北方の安楽寺，東方の平楽寺(廃寺:小寺遺跡)，南方の長楽寺(現･長暦寺)，西方の正楽寺(廃寺:正楽寺遺跡)がこれらに相当するとされる。
　現位置(椎ノ木)は江戸時代以来の地誌などで国分寺の所在が伝承され、平成25年(2013年)までの17次にわたる発掘調査の結果や、国府に近いという所在地、『妙興寺文書』等において椎ノ木の寺院跡付近に｢国分領｣｢国分寺地｣の地名が認められるなどを基に、本遺構は尾張国分寺跡として認められ、国の史跡に指定された。
　なお、国分僧寺の後継寺院は鈴置山国分寺、さらに北東3.5kmほどのところには尾張国衙跡，尾張大國霊神社(国府宮)がある。