1063(康平6)年、前九年の役で陸奥国の安倍惣領家を滅ぼした源頼義が京都への帰途にこの地に祠を建てたのが始まりと伝えられる。1059(天喜7)年、鎮守府将軍･源頼義率いる討伐軍は陸奥国へと向かうが、矢作川まで来ると洪水のため立ち往生する。頼義は｢弓矢八幡｣に一心に祈ったところ無事に川を渡ることができたという。また、これには、頼義は八幡大菩薩に祈願すると神の神霊が現れ、鹿群に姿を変えて矢作川の流れを塞ぎ止めたという伝説もある。1062(康平5)年、源頼義は安倍惣領家を滅ぼし、翌年、京都への帰路の途中で矢作川に差し掛かったときに、八幡大菩薩のご加護に感謝し八幡大菩薩を奉る八幡宮を創建したという。
　鎌倉時代には源氏,北条氏の外護を受け、足利尊氏は社殿を復興し、板倉氏を神主として奉仕させたという。1476(文明8)年には松平親忠が社殿を改造している。
　1560(永禄3)年、桶狭間の戦いで敗れ織田軍に追われた松平元康(のちの徳川家康)は、八幡宮の森から現れた鹿の導きで矢作川を渡り、大樹寺まで辿り着けたという言い伝えもある(元康がどのように矢作川を渡ったかは諸説ある)。また、1600(慶長5)年に関ヶ原へ向う途中、徳川家康は夜中に歩いて長瀬八幡宮に戦勝祈願に詣でている。そして、江戸幕府を開いたのち、社殿を修復し1603(慶長8)年には社領60石を寄進し明治維新まで続けられた。
　1807(文化4)年、木造の大鳥居を築造(1990(平成2)年9月の台風19号により倒壊している)。1872(明治5)年、郷社に列格。1873(明治6)年には大樹寺の山門を移築している。