築城年は定かではないが、南北朝時代初期には新田義貞が神護寺後方に臨時築城したとされ、1336(建武3)年には、足利直義から新田義貞に与した神護寺に対して、城郭部分を破棄するよう求めたという記録が残る。　
　その後、1509(永正6)年から始まる細川京兆家の家督をめぐる細川高国と細川澄元･晴元父子、両細川の乱において、たびたび陣所として利用されている。1547(天文16)年には、細川氏綱の一族の細川玄蕃頭国慶が城を築いて拠点とした。国慶は、反細川晴元を掲げて挙兵した氏綱に従ったが、同年のうちに晴元方の攻撃によって落城した。このとき神護寺も金堂以下ことごとく焼け落ちたとされる。神護寺も城郭寺院として構成され、高雄城はその詰城であったとする見方もある。
　『言継卿記』によれば、1553(天文22)年には、三好長慶の寝返りによって細川氏綱方に京を逐われた晴元の残党が、今度は逆に高雄五台山に城を築き籠もったとされる。この城も、三好勢の攻撃によって同年中に落ちたとみられている。
　城は標高342ｍ,比高140ｍの桂川の支流･清滝川の右岸、神護寺の背後の丘陵頂部に位置し、文覚上人･性仁法親王墓所の北側に築かれている。主郭の前方(南東側)を帯曲輪が囲み、その外側にも小段郭を設けられている。また、主郭の東西には竪堀がみられる。主郭北側の高さ1.5ⅿほどの土塁を越えると、堀切が東西に走り尾根を遮断している。その北は自然地形と思われるが、最北端にも堀切がみられる。比較的シンプルな縄張りで防御性も低く、城郭というよりもやはり陣跡と言ったほうが相応しいかもしれない。