創建時期は1631(寛永8)年10月5日の神職宅の火災により社記を失ったため、不明である。『神道大辞典』は、安寧天皇年間の創建と伝わるとしている。
　1195(建久6)年、源頼朝が東大寺再建時に上洛する折に参詣し、社殿を修理したと伝えられる。また、1561(永禄4)年、松平元康(のちの徳川家康)が吉良氏居城の東条城を攻略するため出陣した際、戦勝を祈願したとも伝えられている。1657(明暦3)年には、駮馬村東条出身の赤坂陣屋の三河代官･鳥山牛之助が願主となり再建されたとの記録がある。
　古来から瀬戸･駮馬･寺嶋の3ヶ村が共同で祀り、秋の祭礼では馬場(社殿東南の高原社南側)にて飾り馬による馬駈神事が行われる。
　なお、神社の南東には瀬門古墳(寄名山1号墳)がある。