永禄10年(1569年)、毛利元就は楢崎豊景，村上亮康らに命じて杉原景盛が守る神辺城を攻撃、8月、景盛を逐った。しかし、景盛逃亡のあとも藤井能登守皓玄はよく戦ったが、ついに敗れて、備中浅口郡に入り、西大島の石砂において自刃した。皓玄の首級は、楢崎三河守の手によって、毛利元就の陣に運ばれて一見に供された。皓玄の首を得た元就はおおいに喜んで、楢崎方の軍功を賞でた。
　皓玄には4人の男子があったといわれ、長男の新助広吉は、勇力の武者で吉備津宮に長さ七尺の野太刀を奉納したことが知られる。永禄12年(1571年)8月、神辺城の戦いで勇戦し、神辺城に寄せてきた毛利勢を迎え撃ち先陣を務めて、楢崎少輔三郎に突かれて討死した。このとき、3男の喜三郎も討死したといわれる。
　次男の市之丞広貞(好種とも)は、父･皓玄に最後まで付き従ったが、皓玄の戦死後、吉井に立ち帰った。おそらく皓玄の遺命もあったのだろう。また、遺された一族の身の振り方やその処置など、広貞の働きを必要としたのであろう。そして、その後に自刃をして果てたと伝えられている。
　残る4男の好恒は、合戦のとき10歳にも満たない少年であったことから、成羽の三村親成に預けられていた。のちに、美作国久米郡神月村の小坂氏に預けられた。いずれにしろ、好恒は三村親成の庇護の下に成長し、元服して小坂信濃守利直と名乗った。この好恒すなわち利直の娘が、備中放浪中の水野勝成と懇ろになり、のちの福山藩2代藩主･勝俊を生んでいる。
　藤井一族は、皓玄の戦死によって没落した。その後、世をはばかる時を過ごしたものの、福山藩2代藩主･勝俊の母を出したことからふたたび世に出ることがかなった。