永享年間(1429年～1441年)に山岡氏の一族で田上城主であった山岡資広が、瀬田に城を築いて移ったのが始まりとされる。山岡氏ははじめ佐々木六角氏に仕えており、山岡景隆の時代には｢江南の旗頭｣と呼ばれるほどの実力をもっていたが、1568(永禄11)年に織田信長の上洛軍が攻め寄せ佐々木六角が観音寺城を捨てて逃れる頃になると、信長に降った。
　その後は信長に仕えて伊勢国大河内城攻めや雑賀攻め、伊賀攻めなどに従軍している。1582(天正10)年、信長が本能寺の変に倒れると、明智光秀の誘いを断って勢多橋を焼き落として山中へ逃れた。その後は織田信雄に味方して伊勢峰城攻めに参加したが、賎ヶ岳合戦の際に柴田勝家に通じたと疑われ、瀬田城を捨てて出奔し山岡城に蟄居したという。