第10代･崇神天皇皇女の豊鍬入姫命が天照大御神を祀る神籬(神を迎える依り代)を立てた所、また、のちに第40代･天武天皇皇女の大来皇女が初代斎宮として伊勢神宮へ向かう途中にみそぎを行った場所との伝承が残されている。いわゆる｢元伊勢｣とされる。
　『日本書紀』によれば、崇神天皇6年に国内情勢が不安定になった際、天皇は天照大御神と倭大国魂神(のちの大和神社祭神)の2神を宮中に祀ったことが原因と考え、天照大御神を豊鍬入姫命につけて倭の笠縫邑に祀らせたという(倭大国魂神は渟名城入姫命につけて祀らせたが失敗した)。その後、天照大御神は豊鍬入姫命から離され、倭姫命(第11代･垂仁天皇皇女)に託されて諸地方遍歴の末、伊勢に行き着くこととなる(伊勢神宮起源譚)。
　また、673(天武天皇2)年4月、大来皇女は斎王制度確立後の初代斎王(斎宮)として泊瀬斎宮にて斎戒生活を送り、翌年に伊勢神宮へと下向した。
　旧跡伝承地の碑の北には、中殿に天照大御神,大来皇女を祀る小夫天神社がある。
　なお、2012(平成24)年6月､桜井市の脇本遺跡を調査中に7世紀後半の建物跡が発見され、泊瀬斎宮の可能性が高いと指摘されている。