大永7年(1527年)､細川高国に弟･香西元盛を誅殺された波多野元清･柳本賢治兄弟が反乱を起こすと、赤井五郎(忠家)は波多野氏に加勢し、柳本賢治が篭る神尾山城を包囲していた細川尹賢を急襲しこれを敗走させた。その後、阿波の三好政長軍と合流した赤井･波多野･柳本の丹波軍は高国方との戦いに勝利し、入洛を果たした(桂川原の戦い)。
　享禄3年(1530年)に柳本賢治が死去し、一方の細川高国も大物崩れにより敗死すると、阿波国の細川晴元が幕政の主導権を握り、赤井氏はこれに従った。しかし波多野秀忠(元清の子)は高国の弟･細川晴国を奉じて挙兵し、晴元方の内藤氏や赤沢氏は敗れ、晴国による丹波の｢一国平均｣が成し遂げられた。
　この後、波多野秀忠が晴元方に転じ、天文5年(1536年)、細川晴国が摂津国天王寺で自害する。また、波多野秀忠は勢力を拡大し｢丹波守護｣と呼ばれるに至っている。しかし天文12年(1543年)、今度は細川高国の養子･細川氏綱(尹賢の子)が挙兵し、天文21年(1552年)には三好長慶に奉じられて細川氏当主の地位に就いた。京を追われた細川晴元が波多野元秀(秀忠の子)を頼って丹波に入ると、赤井時家も細川晴元を支援し、三好長慶と対峙することとなった。
　永禄2年(1559年)には内藤宗勝が波多野元秀からその本拠地･八上城を奪い、波多野秀親や波多野次郎を被官に加えるなどしている。
　弘治元年(1555年)、氷上郡の国人も二つに分かれ、細川晴元方の赤井一族と、細川氏綱方の芦田氏･足立氏が氷上郡香良で合戦を行った。この戦いで、時家の子の家清･直正が重傷を負ったものの、芦田氏･足立氏も多くの一族を失い、赤井氏は氷上郡をほぼ完全に支配下においた。弘治3年(1557年)2月に赤井家清が先の負傷が元で死去し、家清の跡を継いだ子の忠家を赤井直正が補佐していく。
　この後、永禄5年(1562年)から8年(1565年)の間は黒井城に内藤方が在城している。しかし時家は丹波へと戻り、永禄7年(1564年)頃には氷上郡と天田郡の境の烏帽子山に築城し、天田･何鹿両郡を掌握した。永禄8年(1565年)には天田郡または何鹿郡で、直正が内藤宗勝を討ち取っている。
　しかし、赤井直正の死後の天正7年(1579年)、明智光秀に黒井城を落とされ赤井氏は没落した。時家は、天正9年(1581年)5月8日、88歳で死去したとされる。

　大永5年(1525年)、丹波氷上郡後屋城主･赤井時家の嫡子として誕生。若くして数々の戦功を挙げたという。
　天文2年(1533年)、細川晴元や三好元長に対し細川晴国が挙兵すると、晴元方から晴国方に転じた多紀郡の波多野秀忠によって赤井氏は攻められ、家清は父･時家と共に播磨国三木城の別所就治を頼り落ち延びた。天文4年(1535年)に波多野秀忠が晴元方に帰参し、翌天文5年(1536年)に細川晴国が摂津国天王寺で自害すると、赤井氏は丹波に帰還し旧領を徐々に回復していった。
　この後、波多野秀忠の子・元秀の娘を娶り、波多野氏と同盟を結んでいる。
　弘治元年(1555年)、芦田氏･足立氏との香良合戦で負傷し、弘治3年(1557年)2月6日、その傷が元で死去した。享年33。赤井氏の家督は子･忠家が継ぎ、弟･直正がこれを補佐した。

　9歳の時に父･家清が戦の傷がもとで死去し、叔父赤井直正(荻野直正)の補佐を受ける。永禄13年(1570年)3月、木下秀吉の仲介で織田信長に所領安堵される。その後、離反し丹波国国人衆の旗頭波多野氏と共に織田氏に抵抗したが、織田家臣の明智光秀の丹波侵攻により、天正7年(1579年)8月9日、本拠の黒井城を落とされたため(黒井城の戦い)、忠家は遠江国二俣に逃れた。
　文禄元年(1592年)、朝鮮出兵の時に豊臣秀吉に仕える。文禄2年(1593年)9月2日、播磨国美嚢郡に1,000石を給う。秀吉の弟の豊臣秀長と不和となり、大久保忠世を仲介に徳川家康に仕官を願ったが、一族等の許に在るよう命じられる。後に再び豊臣氏に仕官するが、また退いている。
　慶長5年(1600年)、石田三成の与力･矢田部助兵衛が、助兵衛の一族で忠家の家臣であった矢田部新左衛門宛てに密書を送ってきたのを家康に献上した。関ヶ原の戦いに東軍として参加。戦後、大和国十市郡に1,000石を賜り、戦前に与えられていた領地と合わせて2,000石となる。
　慶長10年(1605年)伏見にて死去した。

　慶長3年(1598年)に徳川家康の小姓となる。慶長5年(1600年)、会津征伐に従軍、関ヶ原の戦いでは父と共に東軍として参加。慶長7年大和国山辺郡で1000石を賜る。慶長10年(1605年)に父が没すると家督を継ぎ、自らの領地1000石は弟･公雄に賜った。元和2年(1616年)には、大和十市郡において2000石を領する。元和3年(1617年)、大坂の陣で荒廃した四天王寺の普請奉行に片桐貞隆と共に任ぜられ、元和4年(1618年)9月に竣工し、元和9年(1623年)9月に落慶した。寛永11年(1634年)7月の徳川家光の上洛に随行する。
　明暦元年(1655年)死去。享年74。

　赤井氏の同族で黒井城に拠る荻野氏の養子に入って荻野姓を称した。天文23年(1554年)、外叔父･荻野秋清を殺害して黒井城を奪っており、通称の｢悪右衛門｣はこの事件からついたともいわれているが諸説ある。また、その勇猛ぶりから｢丹波の赤鬼｣と恐れられた。
　弘治3年(1557年)、兄･家清が三好氏家臣の松永長頼(のちの内藤宗勝)との戦いでの傷がもとで死去したため、直正は黒井城に居住したまま幼少の甥･忠家を後見して赤井一族を率いた(この経緯から一般的に赤井姓をもって呼ばれている)。永禄元年(1558年)には天田郡の荒木尚雅を滅ぼすなど勢力拡大に努め、永禄8年(1565年)には横山城の塩見頼勝を攻め、これの救援に来た兄の仇である内藤宗勝を和久郷の決戦で討ち取った。
　永禄13年(1570年)3月、本家の忠家と共に織田信長に降り、3郡の所領安堵を受けた。ところが、元亀2年(1571年)に氷上郡へ侵攻してきた山名祐豊を打ち破り、逆に山名氏が治める竹田城を占拠すると、祐豊は信長に救援を頼んだことから、信長の丹波侵攻を招くこととなった。また、この頃から反織田勢力側に取り込まれていった。なお、天正元年から天正3年6月までの間、京を出奔した義兄の近衛前久を受け入れていた。
　天正3年(1575年)10月、織田信長は明智光秀に直正討伐を名目に丹波攻略を命じた。この時、赤井直正は吉川元春の傘下となった太田垣輝延の竹田城を攻めていたが、明智光秀が竹田を制圧するとこれに抗して黒井城に篭って戦い、八上城の波多野秀治の加勢もあって光秀を敗走させた(黒井城の戦い)。これ以降、丹波国は京都を中心に畿内の支配を固めた織田氏の侵攻にさらされるが、直正ら赤井一族は波多野氏と結束して頑強に抵抗し、光秀率いる織田軍を何度か撃退することに成功する。
　しかし、天正6年(1578年)3月、直正は50歳で病死。嫡男･直義は僅か9歳であったため、叔父の赤井幸家が総指揮を執るが、求心力を失った赤井一族は没落し、織田氏による丹波平定を早めることになった。

　父の直正は直義が9歳の時に戦いの傷が元で死去し、叔父の赤井幸家が後見したが、明智光秀の度重なる猛攻に抗いきれずに落城し逃亡した。そして、のちに京都に隠棲した。この時、荻野金左衛門と改名している。慶長15年(1610年)、山口直友を介して藤堂高虎に仕え1000石を賜ると同時に旧姓に復す。大坂の陣では藤堂軍の足軽大将として活躍した。
　2010年、直義の子孫が赤井家住宅を伊賀市に寄贈することが発表された。