現存する史料からは、三河国作手郷に移住する貞俊以前の系譜についてははっきりしない。村上源氏の後裔と自称した赤松則景の末流(則景の子)とする説、武蔵七党児玉党後裔の氏行が則景の養子になったという説もある。いずれにせよ上野国甘楽郡奥平郷を領していたということは共通している。
　ある史料では、赤松則景が東国へ下り源頼朝に従い、甘楽郡司畠山小幡右衛門尉政行の娘と結ばれ氏行が生まれたとする。氏行は政行の子の太郎行綱のもとで養われ、児玉本庄左衛門尉家定に婿入りし文治年間(1185～89年)小幡庄奥平邑(下奥平)に奥平城を構えて奥平姓を名乗り甘楽郡司を務めた。奥平氏は鎌倉期を通じて代々甘楽郡司を務め大いに繁栄したという。