築城年代は定かでないが、永禄年間(1558～70年)から三好氏の武将である篠原自遁が守っていた。
　1582(天正10)年の長宗我部元親による阿波侵攻では、十河存保方についたものの、中富川の戦いや勝瑞城攻防戦には参加しなかった。しかし、頼りの織田信長が本能寺の変で討たれ、織田方の援軍が期待できなくなったため、自遁は城を明け渡し淡路へと逃走した。 元親は腹心である東条関之兵衛を城主として入れた。この時期に秀吉の侵攻に備えて大規模な城郭改築を行なったとみられる。
　1585年(天正13)年、羽柴秀吉による四国攻めでは、羽柴秀長の攻撃を受け、8日間後に水の手を断たれて落城した。関之兵衛は脱出し土佐に帰還したが、敗戦の責を問われて首をはねられた。
　太平洋戦争中には徳島航空隊の特攻隊基地や退避壕によるトンネルが掘られ、1958(昭和33)年には山頂に配水池が作られるなど、現在は地形が大きく変わっていて、遺構の保存状態は良くない。2009(平成21)年頃には木津城山公園が完成している。