1360(延文5/正平15)年に周防国の佐脇宗喜が伊勢国守護の仁木義長に属し、子の沢木(佐脇)宗政によって築かれた城とされる。
　1557(弘治3)年、沢木三河守入道宗喜が城主の時、近江国の六角義賢家臣の小倉三河守が伊勢に侵攻し、千種城の千種勢とともに柿城を取り囲み落城させた。このとき柿城を属城としていた神戸城主の神戸利盛は柿城の救援に出陣したが、その間に家臣の佐藤中務,又三郎父子が謀反を起こし、小倉三河守を神戸城に迎え入れた。しかし、佐藤氏の家臣古市与介が反抗し、神戸利盛を岸岡城に迎えて、長野藤定とともに神戸城を奪還し佐藤父子を殺害している。
　現在、周辺が住宅地として区画整備されるなか、主郭跡が公園として整備されている。遺構としてはわずかに土塁跡が残るのみである。