1335(建武2)年、北畠親房が顕家,顕信,顕能の3人の息子を伴って伊勢国に入ったときに南勢に築いた城のうちの1つであるといわれている。城跡は標高312mの桝形山山上に位置し、東西180m×南北330mの範囲に広がっていた。
　1415(応永22)年春、北畠満雅がこの城から挙兵した。明徳の和約で両統迭立が称光天皇即位によって破られたことがその理由である。元南朝方の勢力であった大和,紀伊,河内の武士が味方する満雅側に、一色義貫を総大将とする幕府方が応戦し、満雅側は籠城戦をとったが、同年5月15日に陥落した。この時のエピソードが｢白米城伝説※｣のもととなった。
　その後、1478(文明10)年には麓に北畠氏の菩提寺となる浄眼寺が北畠材親の援助によって建立された。これにより、麓の居館(浄眼寺)と詰めの城(阿坂城)という中世の根小屋式山城を模したような形ができ上がった。
　1567(永禄10)年、当寺の城主は大宮入道含忍斎とされ、織田信長方の滝川一益による再三の攻撃をはね付け、堅牢なる城との名を世に広めた。そして1569(永禄12)年8月、信長軍は阿坂城を包囲し降伏勧告を行うも大宮入道含忍斎は応じず、木下藤吉郎(豊臣秀吉)による巧妙な策によってようやく開城されそのまま廃城となった。信長は、それまで大きな手柄のなかった秀吉に武功を挙げさせるために藤吉郎を送り込んだという。藤吉郎はこの時、大宮大之丞吉行の矢により、生涯初にして唯一の戦傷を左脇(左腿とも)を受けたとされる。
　城跡は大きく南郭(白米城)と北郭(椎之木城)からなり、南郭は東西25m×南北30mの範囲にある比高12mの台状地、北郭は70m四方の範囲にある台状地で、南北の郭は250mほど離れている。北郭の方が規模が大きく新しく、堀切や土塁などで複雑に構成されていることから、北郭が主郭であると考えられる。2つの狭長な台状地を中心に、台状地間と両端に堀切を巡らす。北側の西下斜面には竪堀が2ヶ所みられる。
　近辺には高城,枳城などの出城があった(阿坂城跡に両城跡を含めて国指定史跡)。高城は北畠氏の家臣･大宮氏が築城したものとみられ、枳城も南北朝時代の特長を有している。
　※白米城伝説：北畠満雅は籠城時、幕府軍が城の水の補給路を断ったため、水の確保に苦労した。実際に城内にはほとんど水は残っていなかったが、敵を欺くために白米を馬の背に流して城内に水が豊富にあるように見せかけたところ、幕府軍は北畠軍がいまだ豊富な水を保持するのかと大いに驚き、水断ち作戦を諦めて包囲を解除したとされる。