1039(長暦3)年、源頼義の長男として河内国石川郡壺井の香炉峰の館に生まれる。7歳の春に石清水八幡宮で元服したことから八幡太郎と号した。
　1051(永承6)年の前九年の役に父に従って参戦し名をあげ、従五位下出羽守となる。その後も武功をたて、1083(永保3)年に陸奥守に就任し、豪族清原氏の内紛である後三年の役に介入して、義家の調停に反抗した清原家衡,武衡らを討ち、清衡を助けたが、朝廷の停戦命令を無視し、砂金など官物の納入も怠ったため、合戦は私戦とみなされて恩賞も無かった。その後、摂関家に近従した弟・義綱とも対立した。
　1098(承徳2)年、白河法皇の意向によって陸奥守の功過が定められ、院の昇殿を許され、院の側近となって延暦寺の悪僧を追討するなどの活躍をした。反面、1101(康和3)年に嫡男・義親が九州で濫行し隠岐に配流となったり、1106(嘉承元)年には三男・義国と弟・義光らが東国で合戦し一族の不祥事が相次ぎ苦境に陥る。そんな最中の同年､京の邸宅で死去し､通法寺南東の丘陵に葬られた。