築城年は定かではないが、1332(正慶元/元弘2)年に後醍醐天皇の皇子･護良親王が吉野山一帯を城砦化した際に、蔵王堂を本丸とする吉野城の詰城として南方の標高702mの高城山に築かれた。蔵王堂が一望できる。なお、西下の牛頭天王社は城の鎮守社として創建されたという。
　飛鳥･奈良時代には吉野宮(宮滝遺跡)に遊んだ宮廷歌人が高城山を望んで歌を詠んだが、1333(元弘3/正慶2)年閏2月1日には鎌倉幕府軍の総攻撃で攻め落された。