築城年代は定かではないが、南北朝時代に大和国の有力豪族である越智氏によって築かれた越智城の詰城とされる。のちに貝吹山城は本城となり高取城を詰め城とした。越智氏は室町時代後半(15世紀末)までは勢力を誇ったが、1546(天文15)年、筒井順昭によって攻められ城を奪われた。1549(天文18)年と1557(弘治3)年の二度にわたり奪回を試みるも、いずれも失敗に終わっている。その後、1566(永禄9)年に瓜田某の内通により越智氏がようやく奪回した。しかし、織田信長に臣従して大和国に進出した松永久秀に攻められ、二度の攻撃を撃退したものの1569(永禄11)年、降伏し松永方へ明け渡された。
　城は標高210mの貝吹山の頂上に築かれ、｢牛頭天王の塚｣と呼ばれる直径約3mの円墳を主郭とし北に一段、南に三段の曲輪を配する。北西尾根側には古墳を転用した曲輪がみられ、搦め手とされる東の尾根と現在の登山道がある南の尾根との間には、帯曲輪ほどの無数の平段が築かれている。
　なお、貝吹の名は、ホラ貝を吹き敵襲を知らせたことに由来する。