1505(永正2)年、宝飯郡の長山一色城主であった牧野成時(古白)によってその前身(今橋城)が築城された。西三河で勢力を広げつつあった安祥城の松平長親への防備、もしくは渥美郡全域で勢いをつけていた戸田宗光に対する警戒のためと考えられている。翌1506(永正3)年には一時落城し、牧野古白,野瀬丹波が討死している。その後、今橋城から東方の二連木城や半島の田原城に拠点を持つ戸田氏と牧野氏が争奪戦を繰り返している。
　1529(享禄2)年、西三河から松平清康が進出し吉田城を攻略。戸田氏まで屈服させて三河支配権をほぼ確立させた。
　1546(天文15)年、牛久保城主(長山一色城主)の牧野保成の要請を請けた今川氏が牧野成敏を追った戸田宣成を攻めて吉田城を陥落させ管理下に置くと、東三河における最重要戦略拠点となった。
　しかし、今川義元が桶狭間の戦いで討たれると、1565(永禄8)年には、今川氏から離反した松平家康によって攻略され、城代・小原鎮実は退避。家康は信任の厚い重臣の酒井忠次を城代に任命し(この頃、吉田城に改称)、南方の田原城の城代には本多広孝を配置した。吉田城を中心とし戸田氏や牧野氏,西郷氏などの東三河4郡の諸豪族を統率させた。その後も武田氏による侵略に対しても頑強に守り抜いた。
　1590(天正18)年、家康が関東に移封されると、池田輝政が東三河4郡を統べる15万2千石の城主となり、城および城下町の大改築や吉田大橋(豊橋)の架け替えなどを行ったが、未完成のまま姫路に移封されることになる。その後の国替えは頻繁で、最後に入ったのは大河内松平家の松平信復である。
　本丸,二之丸,三之丸と総構えを含めた敷地は、名古屋城などよりも広大であった。本丸は北側の川に面し、切り立った石垣が組まれている。それを二の丸,三の丸,侍屋敷が囲むという半円郭式の平城であった。天守は無く、隅櫓の一つである鉄櫓が天守の代わりをしていたと考えられる。再建鉄櫓を支える石垣は池田輝政当時のものといわれる。本丸御殿が江戸時代の深溝松平氏が治めた当時に建設されたが、1707(宝永4)年の宝永地震で崩壊し、以後再建されなかった。なお、鉄櫓以外の石垣については、慶長期の名古屋城築城の際に余った石垣を転用している部分が見受けられる。
　二の丸は土塁で囲まれており、二の丸御殿や弾薬庫があった。また二の丸の北側、本丸の東側には細長い形状の金柑丸があった。牧野古白による築城当時の本丸はこのあたりにあったといわれている。
　三の丸も土塁で囲まれ、米蔵や土蔵,長屋などがあり、その外側に侍屋敷が広がっていた。城外とは総堀で囲われており、当初空堀であったが、1654(承応3)年、譜代の小笠原忠知によって向山大池が築かれ水を引いた。
　静岡県湖西市鷲津の本興寺の奥書院と山門は、久世氏によって寄進移築された吉田城の御殿と大手門であると伝えられている。