築城年,築城者は定かではないが、柳生古城を築城した柳生播磨守永珍もしくはその子孫によって南北朝時代に築かれたと考えられる。
　1544(天文13)年には大和統一を目指す筒井順昭の攻撃に対し簀川氏らと連合して抵抗したが、1万の筒井勢に外城(柳生古城)を落とされ、さらに水の手を断たれたことで柳生城は落城した。1571(元亀元)年、筒井順慶と松永久秀とが辰市で合戦をした際には、柳生氏は古市氏らと共に松永勢に協力している。廃城時期は定かではないが、文禄時代(1592～96年)の太閤検地にて柳生家は隠田の罪で所領を没収されているため、その頃と推測される。
　しかしその後、柳生氏は徳川家康に将軍家兵法指南役として迎えられ、柳生藩の大名にまで栄進する。
　柳生城は柳生氏の菩提寺である芳徳寺の南東にある標高322mの山に築かれている。正木坂剣禅道場,芳徳寺の部分も城域とされ、境内には土塁が残されている。｢石舟斎塁城址｣の碑も芳徳寺の門前に建つ。主郭は周囲を高い切岸と北西,北東,南東,南のそれぞれの堀切で尾根と遮断されている。このうち北東の三郭は二条の堀切で区切られ、南の簡易水道施設のある曲輪(二郭)の南には大堀切がある。