永正年間(1504～21年)に松平宗家5代長親の5男である松平利長によって築城され、藤井松平氏の祖となった。
　1471(文明3)年、岩津城の松平信光は勢力拡大を図り、安祥城を落城させて3男の松平親忠を入れた。1508(永正5)年に今川方の伊勢宗瑞(後の北条早雲)の軍が松平氏の本拠である岩津城を攻撃した際、安祥松平家2代目の松平長親率いる援軍が今川軍を撃退したことで功名を挙げ、やがて岩津松平家に代わり安祥松平家が惣領の立場になっていく。
　長親は兄弟や息子らで安祥城の周囲を藤井城はじめ桜井城,福釜城などで固め、さらなる勢力強化を図った。藤井城には5男の松平利長を入れ、南の東条氏,吉良氏に備えさせた。
　藤井松平2代目の信一は、織田方に奪われていた安祥城の奪回や三河一向一揆との戦いで宗家松平元康に従い、織田信長の近江出陣の折には家康の援軍の主将として、箕作山城攻めでも功をあげている。その後も姉川の戦い,長篠の戦い,小牧長久手の戦いにも従軍している。1590(天正18)年、家康の関東移封に伴い下総国相馬郡布川へ移り、藤井城は廃城となった。
　藤井城は台地の東端へ築かれた城で、かつては水田に囲まれ土塁の遺構が残されていたという。現在は道路に面して石碑が立っている。