足立氏は武蔵国足立郡を本拠とした在地豪族で、遠元の父･遠兼が武蔵国足立郡に土着し、遠元から足立を名乗ったとされる。『尊卑分脈』によると、藤原北家魚名流の藤原山蔭の後裔であり、安達盛長と遠兼を兄弟としている。｢丹波足立氏系図｣では、藤原北家勧修寺流の藤原朝忠の後裔とする。一方で、武蔵国造家の流れで承平天慶の乱の時代に足立郡司であった武蔵武芝の子孫とする説もあるが、武蔵国造家の系譜｢西角井系図｣には、武芝の外孫･菅原氏が氷川神社の祭司･足立郡司を引き継いだことが記されているものの、遠元の名は現れない。いずれにしても、遠元以前の系譜は曖昧ではっきりしない。
　平治の乱で源義朝の陣に従い、右馬允に任官し、源義平率いる17騎の一人として戦った。
　治承･寿永の乱においては、治承4年(1180年)8月に挙兵した源頼朝より前もって命を受けており、頼朝が下総国から武蔵国に入った10月2日に豊島清元，葛西清重父子らと共に武蔵武士で最初に迎えに参上して、頼朝が鎌倉入りした直後の8日、武蔵国足立郡を本領安堵された。これは、頼朝による東国武士への本領安堵の最初である。
　元暦元年(1184年)10月6日、公文所が設置されると、5人の寄人の1人に選ばれた。建久元年(1190年)に頼朝が上洛した際、右近衛大将拝賀の布衣侍7人の内に選ばれて参院の供奉をした。さらに、これまでの勲功として頼朝に御家人10人の成功推挙が与えられた時、その1人に入り左衛門尉に任ぜられる。頼朝死後、2代将軍･源頼家の時に成立した十三人の合議制の1人に安達盛長とともに加わる。
　『吾妻鏡』承元元年(1207年)3月3日条の闘鶏会参加の記事を最後に史料から姿を消している。少なくとも70代の高齢に達しており、程なく没したと見られる。
　幅広い縁戚関係を築き、娘の1人は院近臣の藤原光能に嫁ぎ、京都権門とも深い繋がりを有していた。また、別の娘は畠山重忠および北条時房にそれぞれ嫁して、男子を儲けている。武士出身でありながら公文所寄人に選ばれるなど、坂東武士の中にあって文官的素養を持つ人物であった。