1654(承応3)年、柳生藩3代目藩主の柳生宗冬が南に離れた大保地区の八坂神社の御祭神を勧請して社殿を造り、柳生大保牛頭天王社としたが(明治時代に八坂神社と改称)、それ以前から春日大社の本殿第四殿の御祭神である比売神を祀る四之宮大明神と呼ばれる神社であったとされる。
　柳生村は1038(長暦2)年には神戸四箇郷春日社の神領となり、1183(寿永2)年には春日社の祭神は独立した四つの御殿に鎮座され神戸四箇郷にそれぞれ祭神分霊し、祭祀斎行されていた。
　1547(天文16)年には柳生因幡守が四宮造営米五斗五升を寄進、1604(慶長9)年,1686(貞享3)年には社殿が造営され、柳生家から銀･米の寄進があった。拝殿には天乃石立神社の能舞台として用いられていた建物を移築している。神社東隣に軍神魔利支天社が鎮座する。