頭陀寺は飛鳥時代に建立された古寺で、戦国時代は今川氏の保護を受けて繁栄していた。門前には、寺侍だったと思われる松下氏の屋敷があり、一帯は、頭陀寺城とも呼ばれていた。地元の伝承では市場城の別名も残っている。
　1551(天文20)年頃から約3年間、まだ無名の木下藤吉郎(のちの豊臣秀吉)が松下之綱(松下嘉兵衛)に奉公していたと『太閤素生記』に記されている。
　桶狭間の戦いで義元が敗死した今川氏からの離反の動きがあった引間城主･飯尾連龍に対し、1563(永禄6)年、今川氏真は引間城を攻めた際、頭陀寺城も戦火にあったとされる。　　　
　また、松下家は井伊家ともゆかりがあり､1568(永禄11)年には頭陀寺城の城主･松下之綱の従兄弟である松下源太郎清景が井伊直親の妻であった奥山朝利の息女おひよ(虎松：のちの井伊直政の母)と再婚し、1574(天正2)年、鳳来寺から戻ってきた虎松を養子とし、翌年には松下氏の計らいで、松下虎松は家康に謁見している。
　江戸時代は、松下之綱の長男･暁綱の家系が松下屋敷の当主となって、1905(明治38)年まで居住した。