968(安和元)年、摂津国多田の地に源氏武士団を形成した源満仲の三男として生まれる。兄・頼光と同じく関白の藤原道兼に、道兼の死後は藤原道長に仕え、諸国の受領や鎮守府将軍などを歴任した。河内国に土着して石川郡に壺井荘を拓き、香炉峰の館を建てる。
甲斐守在任時の1031(長元4)年に平忠常の乱を平定し、この乱の後、坂東の武士たちは河内源氏と主従関係を結ぶようになり、河内源氏の東国進出の礎を築いた。武勇に優れ、平維衡,平致頼,藤原保昌らと｢道長四天王｣と称された。
　1048(永承3)年に没し、墓は河内源氏の菩提寺の通法寺跡に頼義墓所,義家墓所と共にある。