社伝によれば、崇神天皇の時代に創建されたとされる。672年の壬申の乱では天武天皇が戦勝を祈願したと伝わる。739(天平11)年、行基が宮処寺を開き、後に最澄が南宮大社と習合し神宮寺となったとされる。
　平安時代中期の『延喜式神名帳』には｢美濃国不破郡 仲山金山彦神社｣と記載され、美濃国一宮とされた。1017(寛仁6)年には、後一条天皇から駅鈴を給付され、この鈴は現存して宝物殿で保管されている。
　1221(承久3)年の承久の乱では朝廷方についたため、社領を没収されている。1280(弘安3)年には元寇撃退を祈念して梵鐘が鋳られて奉納された。この鐘は後に真禅院、大垣八幡神社を経て徳勝寺に移り、重要文化財に指定されている。
　1501(文亀元)年4月、社殿や僧房が悉く焼失する火災が起きたが、守護の土岐政房により復興が行われ、1511(永正8)年に完成した。1589(天正17)年、豊臣秀吉が朱印状を給付し社領360石が認められた。
　1600(慶長5)年の関ヶ原の戦いでは、西軍の毛利秀元が南宮山に陣取り(毛利秀元陣跡)、麓の大社付近には安国寺恵瓊陣営、吉川広家陣営(東軍に内応)が置かれたことで南宮大社にも戦禍が及び焼失した。1642(寛永19)年には徳川家光が岡田善政を奉行として再建している。この際に作成された文書が現在まで残されており、再建にかかった費用などが事細かに記された貴重な資料として国の重要文化財に指定されている。
　1868(明治元)年、神仏分離により神宮寺が分離移転した(現･朝倉山真禅院)。近代社格制度のもとで、1871(明治4)年に｢南宮神社｣として国幣中社に列し、1925(大正14)年に国幣大社に昇格し、戦後、「南宮大社」と改称した。
　南宮大社は美濃国府の南に位置したことから｢南宮｣を称した。鉱山を司どる神である金山彦命を祭神としており、古くから全国の鉱山・金属業･鍛冶屋の総本宮として信仰を集めてきた。
　境内には1642(寛永19)年、春日局の願いを受け、徳川家光によって再建された下向橋，石輪橋を前に、和様と唐様を折衷した独特の｢南宮造｣と呼ばれる建築様式の高舞殿，楼門が並び、回廊など18棟が残っており、国の重要文化財に指定されている。51年毎に式年遷宮が行われている。