702(大宝2)年、文武天皇の勅にて社殿が建立されたと伝えられる。伝承によると、尾張国造で日本武尊の妃･宮簀媛命の兄である建稲種命は、日本武尊との東国征伐の帰途に伊豆海上で亡くなり、その遺骸が宮崎の海岸に流れ着いたのを村人が祀ったことが由来とされている。主祭神は建稲種命、配祀神に誉多別命と大物主命。｢幡頭｣は、建稲種命が東征の際に幡頭(はたがしら)を務めていたという伝承に由来する。
　927(延長5)年成立の『延喜式』神名帳には参河国播豆郡に｢羽豆神社｣と記載され、式内社に列している。また、『三河国内神名帳』では｢正一位 羽利大明神 坐幡豆郡｣と記載されている。
　1580(天正8)年に現在の本殿が再建された。境内は三河湾を一望できる高台にあり、本殿の左右には熊野社，神明社が建つ。本殿は三間社流造･檜皮葺で、屋根は庇が大きく反りかえっていることが特徴的である。1950(昭和25)年に国の重要文化財に指定され、境内社の神明社本殿と熊野社本殿も愛知県指定有形文化財を経て、2022(令和4)年には国の重要文化財に追加指定された。
　このほか、西三河南部地域には、建稲種命とともに日本武尊の東征に付き従い、軍功を挙げたとされる二人の息子を祀る蘇美天神社(建蘇美命祭神)と志葉都神社(建津牧命祭神)がある。父･建稲種命の死後、二人はこの地域の開拓に努め、この地で亡くなったとされる伝承が残されている。ただ、この二人は系図には表れず、西三河南部の開拓の歴史をつくりあげるうえでの伝説上の人物と理解されている。