天智天皇10年(671年)1月5日に、大友皇子が太政大臣に、蘇我赤兄が左大臣に、中臣金が右大臣に、蘇我果安，巨勢人，紀大人が御史大夫に任命された。
　11月23日、大友皇子と上記の左右大臣，御史大夫は、内裏の西殿の織物仏の前で｢天皇の詔｣を守ることを誓った。すなわち、大友皇子が香炉を手にして立ち、｢天皇の詔を奉じる。もし違うことがあれば必ず天罰を被る｣と誓った。続いて5人が順に香炉を取って立ち、｢臣ら五人、殿下に従って天皇の詔を報じる。もし違うことがあれば四天王が打つ。天神地祇もまた罰する。三十三天、このことを証し知れ。子孫が絶え、家門必ず滅びることを｣などと泣きながら誓った。ここでいう天皇の詔の内容ははっきりしないが、天智天皇の死後は大友皇子を即位させることだと考えられている。29日にも5人の臣は大友皇子を奉じて天智天皇の前で盟した。内容は不明だが、前の誓いと同じだと思われる。
　天智天皇が崩じると紀大人は大友皇子を支える重臣になったが、『日本書紀』は続いて起きた壬申の乱で紀大人の活動について触れない。『続日本紀』慶雲2年(705年)7月19日条、紀麻呂の薨去記事に、｢近江朝の御史大夫贈正三位大人の子｣とある。贈位を受けたことからみて、大人は罪人と扱われていなかったと考えられる。蘇我果安と大友皇子が自殺し、乱後の処分で中臣金が死刑、蘇我赤兄と巨勢比等(巨勢人)が流刑となったにもかかわらず、である。大人が処罰されなかった理由について記す史料はないが、同族の紀阿閉麻呂の活躍に免じて赦された、大海人皇子側に寝返った、あるいは内通していた、といった推測がある。
　『続日本紀』の記載からは、｢近江朝の御史大夫｣を最後に公務から退いたと推測される。没年月日は不明だが、｢紀氏系図｣に天武天皇12年(683年)6月2日とある。 　

　慶雲4年(707年)従六位上から従五位下に叙せられる。内蔵頭在任中の和銅2年(709年)3月、陸奥国，越後国両国の蝦夷を征討するために征越後蝦夷副将軍に任ぜられる。同年8月征討を完了して征蝦夷将軍･佐伯石湯と共に帰朝、元明天皇に招かれて特別に恩寵を与えられた。同年10月志貴皇子の妃となっていた娘の橡姫が白壁王を生んでいる。
　没後の宝亀元年(770年)白壁王が即位(光仁天皇)したことから、宝亀10年(779年)天皇の外祖父として従一位を、延暦4年(785年)には桓武天皇の外曽祖父として正一位･太政大臣を追贈されている。　

　和銅7年(714年)従六位上の時、三宅藤麻呂と共に国史撰修の詔勅を受ける。当時編纂されていた『日本書紀』に関連した人事とも考えられるが不詳。翌和銅8年(715年)三階の昇叙により従五位下に叙爵。
　優れた学者として重んじられ、その才能を賞賛されて和銅8年(715年)および霊亀3年(717年)に籾百石を賜与された。また、養老5年(721年)正月には佐為王，紀男人，日下部老，山上憶良らと共に、退庁後は皇太子･首親王(のちの聖武天皇)の身近に仕えて学芸を教授するよう命じられ、さらに同月元正天皇が学問に優れた者を褒賞した際には、文章に優れるとして山田御方らと共に絁などを賜与されている。養老7年(723年)従五位上。
　聖武朝では、右京亮，治部大輔，文章博士を歴任し、この間の天平15年(743年)正五位下に叙せられている。天平16年(744年)2月に聖武天皇が恭仁京から難波京に遷都した際に平城宮の留守役を務めた。また、同年7月にはかつて父･国益と紀男人との間の奴婢所有をめぐった争いに対する裁判の結果、奴婢は清人の所有となり、清人は上表して奴婢を良民としている。同年11月従四位下に昇叙。天平18年(746年)正月に元正上皇の御在所で開催された肆宴で応詔歌を詠み、この作品が『万葉集』に採録されている。同年5月武蔵守。天平勝宝5年(753年)7月11日卒去。

　神亀6年(729年)3月、長屋王の変(同年2月)後の叙位にて正六位上から外従五位下に叙せられる。この時の叙位では変で活躍したと考えられる藤原武智麻呂，石川石足，多治比県守，藤原麻呂らが昇進していることから、飯麻呂も反長屋王派に属していたことが窺われる。同年8月従五位下、天平5年(733年)従五位上。
　天平12年(740年)9月に発生した藤原広嗣の乱において、持節大将軍･大野東人の下で征討副将軍を務める。翌天平13年(741年)には藤原広嗣追討の功労により従四位下と一挙に三階の昇叙を受け、右大弁に任ぜられている。天平14年(742年)正月に藤原広嗣の乱に関連して大宰府が廃止された際には、大宰府に派遣されて官物を筑前国司へ移転するなどその実務処理に当たった。また同年2月には新羅使･金欽英が大宰府に来航するが、遷都後間が無い恭仁宮の宮室がまだ完成していなかったため、入京を許さなかったことから、飯麻呂が当地で饗応し帰国させるなどの対応を行っている。天平17年(745年)には平城京への還都に先んじて平城宮の掃除を命じられるが、諸寺の僧侶は浄人や童子を率いて争うように集まり、百姓もみな平城京に集まって村里に人がいなくなってしまうような状態であったという。
　この頃までは飯麻呂は橘諸兄派と認識されていたらしく、天平18年(746年)右大弁から常陸守に転任すると、天平21年(749年)大倭守、天平勝宝5年(753年)大宰大弐と、藤原仲麻呂の台頭に伴いしばらく地方官を務めた。また、この間の天平勝宝元年(749年)には孝謙天皇の即位に伴い従四位上に叙せられている。
　天平勝宝6年(754年)大蔵卿次いで右京大夫と再び京官に復帰する。天平勝宝9年(757年)正月に橘諸兄が薨去した際は葬儀の監護を務めるが、藤原仲麻呂派に転じたらしく、同年7月左大臣･藤原豊成の失脚により仲麻呂政権が確立すると右大弁に、さらに8月には正四位下･参議に叙任され、のち紫微大弼も兼ねるなど要職に就いた。仲麻呂政権では議政官として左右大弁，義部卿，紫微大弼，河内守，美作守を兼ね、美作守の任にあった天平宝字5年(761年)には、同国の介であった県犬養沙弥麻呂(橘諸兄の外戚)を告発して官職を辞めさせている。また、この間天平宝字3年(759年)正四位上、天平宝字6年(762年)正月には従三位と順調に昇進するが、病気のため辞官を請い許されたのち、同年7月19日薨去。　

　宝亀年間(770～-780年)に山部王(のち桓武天皇)の病気平癒を祈願して、紀勝長らと共に四天王像を造る。
　天応元年(781年)従五位下に叙せられ、翌天応2年(782年)右兵衛佐に任ぜられる。延暦2年(783年)に昼夜を問わず朝廷にあって勤務に精励し怠ることがなかったとして、吉弥侯横刀，橘入居，津真道ら他7人と共に昇叙され、木津魚は従五位上に叙せられた。のち桓武朝前半に、美濃守，右兵衛督，内匠頭を歴任し、累進して従四位上に至った。この間、延暦12年(793年)桓武天皇が岡屋野遊猟を行った際に、紀古佐美と共にその供をしている。卒去後の延暦15年(796年)得度の枠二人分が賜与された。 　

　桓武朝では、右衛士少尉，近衛将監と武官を歴任し、延暦20年(801年)従五位下に叙せられた。平城朝に入っても近衛将監から左/右衛士佐と武官を務める傍ら、越後介，上野権介，越前介と地方官を兼ねた。
　弘仁元年(810年)に発生した薬子の変に際して左衛士佐から右近衛少将に転任する。以降、弘仁2年(811年)従五位上、弘仁3年(812年)従四位下･右近衛中将、弘仁8年(817年)従四位上、弘仁12年(821年)正四位下と嵯峨朝において急速に昇進し、弘仁13年(822年)従三位に叙せられ公卿に列した。また、この間、近衛中将，兵部大輔，右衛門督等の武官を歴任し、美濃守，相模守と地方官を兼帯した。
　その後も右衛門督を務めながら淳和朝でも累進し、天長8年(831年)正三位、天長10年(833年)従二位に至り、仁明朝の承和2年(835年)には71歳で参議に任ぜられた。承和3年(836年)9月19日薨去。享年73。

　弘仁11年(820年)内膳典膳に任ぜられる。承和年間の前半以降は左衛門少/大尉と武官を務め、承和12年(845年)従五位下に叙爵し、翌承和13年(846年)右兵衛佐に任ぜられる。
　嘉祥3年(850年)、仁明天皇の崩御後まもなく因幡権介を兼ね、仁寿2年(852年)正月には信濃介と、文徳朝では右兵衛佐を務める傍らで地方官を兼ねるが、同年2月27日卒去。享年58。最終官位は右兵衛佐兼信濃介従五位下。
　武芸の士で、腕力が人並外れて強い一方で、高いところに登ったり、水の深みを歩き回ったりするなど、身軽で敏捷であった。畿内の国々で盗賊をよく追捕し、ついには盗賊がいなくなってしまったという。