駿河国廬原郡息津(現在の静岡県静岡市清水区興津)より起こる。岡部権守清綱の子･近綱が息津六郎を称したのに始まるというが定かではない。工藤氏族は平安末期より武士として名をあげた者が少なくないが、息津氏も源頼朝の従者として息津四郎の名を残している。以後、鎌倉御家人に列し承久の乱の際には鎌倉方軍勢に加わって奥津左衛門尉が上洛したという。室町～戦国期には今川氏の被官となり、興津という地が交通の要衝にあったことから、関所を設けて関銭を徴収、これを重要な経済的基盤のひとつとした。

　父･経義が病死したのち小次郎友兼が吉香氏を継承した。友兼は駿河国第一の勇者と称され、かつて、頼朝の命によりこれも信濃一の勇者と称されていた井上光盛を討ちとった。さらに、文治5年(1189年)の奥州合戦にも出陣して頼朝に忠勤を励んでいた。
　吉川氏を史上有名にしたのは、梶原景時一族が謀反を起し京都に向かった時、それを駿河の狐ヶ崎に討ったことである。正治2年(1200年)正月、相模国一宮に蟄居中であった梶原景時が幕府に逆意を企て、京都にのぼらんとして一族郎党を引き連れ一宮を出立した。これを察知した小次郎友兼は、一族の船越三郎,矢部小次郎,庵原小次郎などとともに途中狐ヶ崎で待ち伏せ、激戦のすえに33人の首を取った。友兼は景時の三男で剛勇無双の武者景茂と戦い、死闘を演じて景茂を討ちとった。しかし、自らも重傷を蒙り、翌日名誉の戦死を遂げた。

　はじめ父･元泰と共に今川氏に仕え、今川氏の滅亡後は甲斐武田氏に仕えた。武田氏滅亡ののちは浪人となった。天正18年(1590年)、豊臣秀吉による小田原征伐において、同じく武田家旧臣であり浪人であった乾正信らとともに豊臣氏方として奮戦し、同年、その功により山内一豊に200石で召抱えられ、御使母衣の格式となった。
　関ヶ原の戦い後、山内一豊が土佐国に転封する際に450石を与えられ、更に元和5年(1619年)には藩主･山内忠義より忠豊傅役を命ぜられ、200石を加増された。
　寛永9年(1632年)死去。家督は養子である内蔵助正元(木部籐兵衛の次男)が継いだ。