1162(応保2)年、郡山衆が雁陣之城を築いたという記録が郡山城の初見とされる。当時の城は盛土と柵を巡らした環濠集落のようなものであった。
　郡山城の最初の攻城戦となったのは、1506(永正3)年夏の赤沢朝経の大和国侵攻である。8月24日、赤沢朝経は郡山城を数千の兵力で取り囲んだ。宝来衆，西京衆，生馬衆，郡山衆ら西脇衆が郡山城に立て篭もったが、圧倒的兵力を前に宝来九郎など多くの武将が討ち死にした。
　その後、郡山衆は筒井城の筒井氏に与したり、越智氏に属したり複雑な動きを繰り返してきたが、1559(永禄2)年、当時の城主･郡山辰巳は松永久秀が大和国に侵入してくると久秀軍に属して筒井氏から離反する。松永久秀と筒井順慶の争いは続いたが、1577(天正5)年に久秀は織田信長によって信貴山城の焼失とともに滅ぼされる。首は安土へ送られ、遺体は筒井順慶が達磨寺へ葬ったという。
　1580(天正8)年8月、織田信長は破城令を出し大和国では郡山城一城なる。同年11月には筒井順慶が織田信長の援助を得て大和国守護となると、郡山辰巳は殺された。郡山城は1581(天正9)年から明智光秀が普請目付として大規模な近世城郭として工事が開始され、⁠1583(天正11)年4月には天守が完成する。しかし、翌年には筒井順慶が死去し、養子の筒井定次は豊臣秀吉の命により伊賀上野城へ転封となった。
　1585(天正13)年、豊臣秀長が大和国，和泉国，紀伊国3ヶ国100万石余の領主として郡山城に入る。秀長は城を100万石の居城に相応しい大規模なものに拡大し、城郭作りや城下町の整備を急いだ。そのため、根来寺大門を移築したり、天守台の石垣には平城京羅城門の礎石や仏塔，墓石，石仏(地蔵)までも用いられている。本丸，毘沙門曲輪，法印曲輪，麒麟曲輪，緑曲輪，玄武曲輪などの曲輪が多く普請された。
　1591(天正19)年に豊臣秀長が没し、その養子の豊臣秀保も1595(文禄4)年に死去すると、大和大納言家は断絶し100万石城の時代は終了する。
　その後、五奉行の一人･増田長盛が22万3千石の領主として入城するが、関ヶ原の戦い後に増田長盛は高野山に追放となり、郡山城の建築物は徳川家により伏見城に移築された。徳川家康は、筒井定慶に1万石、弟の筒井順斎に200石を与えて郡山城に入城させた。しかし、1615(元和元)年の大坂夏の陣の前、豊臣方の合力説得を断ったことで豊臣方に攻められた際、豊臣軍の兵力を見誤ってほぼ戦うことなく城を放棄して福住中定城へと退いた。陣後にそれを後悔して定慶，淳斎は自害したという。
　郡山城の戦いの後、水野勝成が三河国の刈谷から6万石で移封し、荒廃した城郭の修築を行った。その後は譜代大名が歴代城主を務め、柳沢吉里が入封後は柳沢氏が明治維新まで居城とした。
　1873(明治6)年、郡山城は破却された。この際に櫓，門，塀などの建築物は入札によって売却され運び去られたものの、石垣や堀の多くは今も往時の姿を留めている。城下の永慶寺に城門が山門として移築され、現存している。