729(天平元)年、山城国賀茂別雷神社を勧請して創建されたといわれる。賀茂別雷命,天忍日命,倭宿称命,天照皇大神,豊受姫命,菅原道真,宇気母知命,速須佐之男命を祭神とする。1184(寿永3)年、源頼朝は征夷大将軍になり天下を治めるにあたって、この地を京都賀茂神社の神領地と認めた。1543(天文12)年には、今川氏親が神領として298貫を寄進している。戦国時代には山本勘助晴幸の祖父にあたる山本帯脇が神官として勤めていたという。
　1568(永禄11)年、徳川家康が参詣し、ここに日本一の大旗を奉納し武運長久を祈願した。これは後の｢大幡神事｣へとつながっている。また、1573(天正元)年、家康は、武田信玄が野田城を囲んだ際に救援に向かったが逆に敗走し、当神社の大楠の空洞に身を寄せて一命を取りとめたともいわれている。1603(慶長8)年、征夷大将軍となって天下を平定すると、家康は朱印地100石を寄進したことが『三河国二葉松』に記されている。このことから、賀茂神社は必勝祈願,立身出世のご利益があるとされている。
　神事として、御戸代会、爪切神事や大幡神事などの神事、獅子と藤四郎の行事、競馬などが行われる。
　猿田彦古面および賀茂神社本殿は愛知県文化財に、賀茂神社の仮面は豊橋市有形文化財に指定されており、また、参道から少し下りたところに豊橋市指定史跡の神山古墳がある。