1265(文永2)年、関左近将監実忠が関久賀からこの地へ移り築いたのが若山城(亀山古城)とされる。以降、関氏累代の城となった。
　関盛信の時代になると織田信長の支配となり、その子神戸信孝に属していたが、1573(元亀4)年に信長の勘気を被って蒲生賢秀に身柄を預けられた。1582(天正10)年、罪を赦され城主に復帰する。
　1583(天正11)年の賎ヶ岳合戦の際、関盛信,一政父子の亀山城は柴田勝家方の滝川一益に攻め落とされるが、すぐに羽柴秀吉によって取り戻された。
　1591(天正18)年、豊臣秀吉の小田原征伐および奥州仕置き、ついで九戸の乱など蒲生氏郷の与力として活躍し、陸奥国白河に五万石で転封となる。なお、一政は関ヶ原合戦後に再び亀山城主としてこの地に復帰している。
関氏が代々居城とした若山城は近世亀山城の北西の小山に築かれていたとされ、｢亀山城絵図｣で｢古城｣と記されている。しかし、この若山城付近では明確な遺構は発見されておらず、むしろ亀山城の発掘調査で戦国時代のものと推測される大規模な空堀遺構が発見されている。