松平氏,徳川氏発祥の地である。伝承によれば、南北朝時代に在原信盛が松平郷に住し松平姓を名乗る。その子･松平信重は、諸国流浪中に松平郷を訪れた遊行僧･徳阿弥の教養と武勇を評価して、次女の水女(水姫)の婿養子とした。徳阿弥は還俗して松平太郎左衛門親氏と名乗り、この居館を拠点として勢力を拡大した。2代･松平泰親の子(親氏の子とも)の信光は松平郷から三河国平野部の岩津,安城,岡崎へと進出し徳川家康の血筋へとつながっていく。一方、信光の兄･信広は、この地で太郎左衛門家を継ぐ。ただ、太郎左衛門家は松平氏の宗家にあたるものの、信光の系統が戦国大名に発展していくのに対して、松平郷のみを領する土豪から発展することはなく、大給松平家の影響下に入るなど松平氏の一族を称していう｢十八松平｣にも数えられていない。
　家康死後の1619(元和5)年には、元々松平家の屋敷神としていた八幡宮に久能山東照宮より家康の御分霊を勧請し、松平東照宮として祀った。太郎左衛門家は､江戸時代を通じて幕府より｢御称号の旧地｣を守る役目として442石を給せられ、参勤交代の許された交代寄合に列せられていた。太郎左衛門家は明治維新により帰農し、大正時代末期には東京に居を移している。
　現存する水濠や石垣は関ケ原の合戦のあと、太郎左衛門家9代の尚栄によって築かれたものである。また、境内(館内)には｢産湯の井戸｣と呼ばれる松平家代々が産湯に用いた井戸がある。松平信重が掘ったとされ、信光が当館で出生した際に清水を用いて産湯とした。1543(天文11)年に家康が岡崎城にて生誕の折にも、この水を早馬で届けたという。　なお、｢松平氏館跡｣,｢松平城跡」,｢大給城跡｣,｢高月院｣の4ヶ所を一括して国指定史跡｢松平氏遺跡｣としている。