相模国三浦郡矢部郷の出身。具体的な時期は不明ながら、上総常澄の加冠によって元服し義澄と名乗ったとされる。
平治元年(1159年)の平治の乱では源義平に従うが、平家方に敗れて京都から郷里に落ち延びる。長寛2年(1164年)、兄･杉本義宗が39歳で亡くなり、それによって三浦氏の家督を継ぐ。
治承4年(1180年)、源頼朝が石橋山の戦いで挙兵した際には悪天候のため参戦できず、引き返す途中で平家方の畠山重忠との間で衣笠城合戦となり、父･義明を討ち死にさせてしまう結果となったが、その後、房総半島へ渡ってきた頼朝軍と合流し、のちに頼朝に帰伏した重忠らと共に鎌倉に入る。
この頃、平家側についていた妻の父である伊東祐親が捕らえられ、その身を預かることとなり、義澄は頼朝に祐親の事を許させるが、祐親は自分の娘と頼朝の間にできた子を殺したことを恥じて自害してしまう。
義澄は千葉常胤，上総広常，土肥実平らと共に頼朝の宿老となり、その後も一ノ谷の戦いや壇ノ浦の戦い，奥州合戦に参戦して武功を挙げる。建久元年(1190年)に頼朝が上洛した際、右近衛大将拝賀の布衣侍7人の内に選ばれて参院の供奉をした。さらに、これまでの勲功として頼朝に御家人10人の成功推挙が与えられた時、その1人に入ったが子の義村に賞を譲っている。
正治元年(1199年)、頼朝が死去した後には2代将軍･源頼家を補佐する十三人の合議制の一人となる。翌年、梶原景時の変で梶原景時の鎌倉追放に加担し、梶原一族が討たれた3日後に病没。享年74。

　元久2年(1205年)の畠山重忠の乱，牧氏事件に兄の義村とともに出陣。建暦3年(1213年)の和田合戦で功を立てた。建保6年(1218年)6月の源実朝の左大将拝賀には参列しており、その後に京に上って検非違使判官に任じられた。
在京していたところ、後鳥羽上皇の近臣の藤原秀康に説得されて倒幕計画に参加。兄の義村は日本国総追捕使に任じられるなら必ず味方すると確約した。
胤義の妻は2代将軍･源頼家の愛妾で男子を生んだ女性であり、頼家の死後に胤義の妻となっていた。実朝の横死後に仏門に入っていた妻と頼家の子の禅暁の将軍擁立を望んだが、執権北条氏の画策で将軍後継者には摂関家から三寅が迎えられ、その上に禅暁も殺されてしまう。『承久記』によれば、先夫(頼家)と子を北条氏によって殺されて嘆き悲しむ妻を憐れに思い、鎌倉に謀叛を起こそうと京に上ったと述べている。
承久3年(1221年)5月に後鳥羽上皇が挙兵すると、軍議で｢朝敵となった以上、義時に味方する者は千人もいまい｣と楽観論を述べている。鎌倉の義村に密書を送るが、義村は使者を追い返して密書を幕府に届けてしまい、京方の目算は崩れてしまった。
『吾妻鏡』によると、北条政子が御家人を説得する演説をした際に秀康と胤義の名を逆臣として挙げており、幕府からは京方の中心人物と見られていた。6月に京方の大将軍として美濃国と宇治川で幕府軍と戦うが敗北。院の御所で最後の一戦を図るが、御所の門を閉じられ追い返されてしまい、逆に乱を引き起こした謀臣として逮捕の院宣を出されてしまう。残った京方武士と東寺に立て篭もるが、義村の軍勢に攻められ、胤義は子息の胤連，兼義とともに奮戦して西山木嶋(京都市右京区太秦)で自害した。東国に残していた幼い子たちも処刑された。