曳馬城の築城年,築城者には諸説あり定かではない。『日本城郭大系』には以下の4説が挙げられている。
　　・永正年間(1504～11年)に三善将連(または為連)の命を受け、久野越中守が築城
　　・今川貞相(了俊の孫)が敷知,豊田,周智の三郡を領し居城
　　・永正年間に三河国臥蝶の城主である大河内貞綱が築城し居城
　　・巨海新左衛門尉が浜松荘に在地し築城し居城
　1512(永正9)年には大河内貞綱の居城であったが、当時の遠江守護の斯波氏と今川氏親(北条早雲助勢)との争いで今川氏が遠江を完全制覇し、1514(永正11)年には今川氏に従った飯尾乗連が城主になった。また、この今川時代には京都から飯尾賢連を招き、1516(永正13)年に城主を務めて以後3代に渡り飯尾氏が曳馬の発展にも大きく関与した。
　1560(永禄3)年に桶狭間の戦いで今川義元が討たれると、当時の城主飯尾連竜は今川氏を離反し独立した徳川家康に付いたため、1565(永禄8)年、今川氏真の猛攻に遭う。連竜は今川氏真からの和睦を受け入れ駿府に向うが、策略により駿府城で暗殺されてしまう。連竜の嫡男義広は幼少だったため、奥方であるお田鶴の方が城主となるが、1568(永禄11)年、混乱に乗じて徳川家康が曳馬城に侵攻。お田鶴の方は家臣200余名を率いて壮絶な攻防戦を繰り広げ、自ら薙刀を取り侍女18名と共に戦ったが悉く討死し、曳馬城は落城した。その後、徳川家家臣の酒井忠次が城を接収している。
　1569(永禄12)年には徳川が遠江をほぼ平定し、翌1570(元亀元)年、家康は三河,遠江の二カ国運営に適する曳馬城へ入城し、地名を｢浜松｣と改めるとともに、隣山に浜松城の築城を開始した。曳馬城はその一郭に吸収された。
　現在は、その跡地に1884(明治17)年に旧幕臣の井上延陵によって創建された東照宮が鎮座している。