創建年代は定かではないが、最も古い記録は『続日本紀』の文武天皇2年(698年)4月29日の条で、芳野水分峰神に馬を奉り祈雨したとの記述である。元来は吉野山の最奥部の青根ヶ峰の山頂に位置していたとされ、806(大同元)年頃に現在地へ遷座した。葛城水分神社，都祁水分神社，宇太水分神社と共に大和国四所水分社の一つとして水の神を祀り古くから信仰されてきた。水の分配を司る天水分大神を主祭神に、玉依姫命以下6柱の神を祀る。
　さらに、｢みくまり｣が｢みこもり｣と訛り、｢御子守り｣として、平安時代中期頃から｢子守明神(子守宮)｣と呼ばれるようになり、子授け･安産･子どもの守護神として篤く信仰されるようになる。藤原道長の日記『御堂関白記』や清少納言の『枕草子』にも｢子守明神｣として登場している。
　12世紀頃には神仏習合により、水分神は地蔵菩薩の垂迹とされ(子守権現)、金峰山の蔵王権現(金峯山寺)に属する神社として修験道の行場の一つとなっていた。
　1594(文禄3)年に豊臣秀吉が吉野の花見で吉水院を本陣とし5日間滞在した際、子授け祈願を行い秀頼を授かったことから、現在の社殿はその申し子である秀頼が1605(慶長10)年に再建したもので、桃山様式建築の華麗な様式を伝えている。
　本居宣長も父･定利が子守明神へ祈誓し授かった子であると、子供の頃に母から度々聞かされたため、のちに『菅笠日記』で自身を水分神社の申し子と記している。
　明治の神仏分離によって金峯山寺より独立し、村社に列格した。
　境内は参道入口から石段が続き、石段上部に楼門が建ち、楼門には南北両回廊が接続する。社殿は｢コ｣の字型に配置され、一番奥側正面に幣殿、左側に拝殿、そして右側には、祭場である中庭を挟んで向かい合うように本殿が建つ。本殿は、中央に春日造、左右に流造の3殿を相の間で横に繋げ1棟続きにした特異な形状である。花鳥･禽獣などを入れた蟇股や極彩色飾金具など桃山時代の特色をよく示している。