1260(文応元)年、藤原氏を祖先とする後藤伊勢守基秀が武功により三重郡采女郷の地頭職となり一族郎党を引き連れて采女の地に移住、采女山に城郭を築いた。以来、300有余年続いた後藤氏であったが、永禄年間(1558～70年)に織田信長の伊勢攻略が進むなか、後藤采女正藤勝は、信長に北伊勢侵攻を命じられた滝川一益に対し、関氏,蒲生氏とともに戦ったが、1568(永禄11)年、遂に落城した。言い伝えでは、城主･藤勝は討死し、夫人と娘の千奈美姫は一の郭の深井戸に身を投げて城主の後を追ったという。
　釆女城は足見川と内部川の合流地点の北岸にある標高50～70mの三つに分かれた丘陵尾根を利用して築かれている。南北に延びる尾根に北に向かって一の郭,二の郭,三の郭を置き、それぞれは空堀と土塁で区画され空堀には土橋が架かっている。さらに西に四の郭,九の郭、南西に五の郭,六の郭,七の郭、南に八の郭が連郭式に配されている。