『続日本紀』の天平19年(747年)8月23日条には｢正六位上赤染造広足･赤染高麻呂ら9人に常世連の氏姓を賜る｣、天平勝宝2年(750年)9月1日条には｢正六位赤染造広足，赤染高麻呂ら24人に常世連の氏姓を賜る｣、宝亀8年(777年)4月14日条には｢右京の従六位上･赤染国持ら4人、河内国大県郡の正六位上･赤染人足ら13人、遠江国蓁原郡の外八位下･赤染長浜、因幡国八上郡の外従六位下･赤染帯縄ら19人に常世連を賜う」とある。
　八色の姓では、常世宿禰のち常世朝臣。平安時代の長保元年(999年)には常世済明が大和国添下郡の郡司となっている。　

　朱雀朝の天慶4年(941年)主典明法生として名前が見える。村上朝にて右衛門志を務め、のち法家官人として検非違使も兼ねていた。しかし、康保元年(964年)に勘事を受けて、右少史･日下部豊金に交代させられた。
　妻との間に赤染衛門を設けるが、妻は前夫･平兼盛の子を宿した状態で結婚したとも伝えられ、赤染衛門は実の娘ではないという説がある。赤染衛門という名は、時用が右衛門志･尉等を歴任したため号したとされる。

　中古三十六歌仙，女房三十六歌仙の一人。
　赤染衛門は赤染時用の娘とされるが、『袋草紙』には、赤染衛門の母親は前夫の平兼盛の子を宿した状態で時用と再婚し、赤染衛門を出産したとする記述がある。その後、平兼盛は娘の親権を巡り、裁判を起こしたと伝わる。兼盛は敗訴したという。
　赤染衛門は文章博士･大江匡衡と貞元年中(976～978年)に結婚した。大江匡衡と赤染衛門はおしどり夫婦として知られており、仲睦ましい夫婦仲より、匡衡衛門と呼ばれたという。大江匡衡との間に大江挙周，江侍従らをもうけた。藤原教通との間にも娘がいたとされる。赤染衛門は源雅信邸に出仕し、藤原道長の正妻である源倫子とその娘の藤原彰子に仕えており、紫式部，和泉式部，清少納言，伊勢大輔らとも親交があった。匡衡の尾張赴任にも共に下向し、夫を支えた。また、子の挙周の和泉守への任官に尽力して成功させ、任期を終えた挙周が病に罹った際には住吉明神に和歌を奉納し病を平癒に導いた話など、母としての像も鮮やかである。長和元年(1012年)に夫･大江匡衡が逝去した後は、信仰と子女の育成に尽くしたという。
　長元8年(1035年)関白左大臣頼通歌合出詠。長久2年(1041年)弘徽殿女御生子歌合出詠。同年、曾孫の誕生を言祝ぐ和歌を詠んだ後、消息が途絶える。晩年、藤原頼通の求めに応じて、自撰歌集を献上したことが知られる。
　『拾遺和歌集』以下の勅撰和歌集に93首が入集。その歌風は『古今和歌集』の歌風を忠実に継承し、理知的で優美な詠風を示す。平安時代中期において活躍した女流歌人として、和泉式部と並んで称されている(『俊頼髄脳』では赤染衛門よりも和泉式部が高く評価されたが、鴨長明『無名抄』では赤染衛門の方が高く評価されている)。