築城年代は定かではなく、古くは小笠原氏の居城であった。「流れ公方」と呼ばれる10代将軍・足利義植、さらには14代将軍・足利義栄はこの城において最後を遂げており、足利将軍家とゆかりのある城である。
　戦国時代には、三好氏配下の四宮氏が城主となったが、1582(天正10)年、長宗我部元親によって攻略され真下飛騨守が城番として置かれた。さらに、1585(天正13)年の豊臣秀吉による四国平定で、阿波一国は蜂須賀家政の領するところとなり阿波九城の一つとして益田正忠が初代城主となった。そして、1638(寛永15)年、一国一城令により廃城となった。
　現在は櫓跡に天守(撫養城には天守はなかった)を模した徳島県立鳥居記念博物館(鳴門市出身の人類考古学者・鳥居龍蔵の業績を記念した博物館)が建ち、本丸跡には妙見神社が建てられており、その本殿の裏には布積みの石垣が残っている。ただ、この石垣は築城当初のものではなく1830年(天保元)年に神社が建てられた際に築かれたもののようである。