創建時期は定かではない。一説には、この地を治めていた物部氏との関連が深く、6〜7世紀ではないかともいわれている。1542(天文11)年、今川義元の援軍を得た松平広忠が尾張国の織田信秀と戦った際に(第一次小豆坂の戦いか?)、当社も兵火に遭い、古記類ともども焼失したという。すぐ東には松平氏に仕える青山氏の百々城があり、七所神社の建つ小高い丘が砦として使われたとも考えられる。
　境内には、本殿,拝殿と、その右にいくつもの赤鳥居が連なる奥に京都伏見稲荷大社から神霊の勧請を受けた伏見稲荷が祀られている。