1479(文明11)年頃、織田伊勢守家当主の織田敏広(または織田信安の代)によって築城されたとされる。織田敏広は尾張守護代で下津城を守護所としていたが、応仁の乱の後、幕府より尾張守護代に任ぜられた織田敏定との争いで下津城は荒廃したため、和平の後にこの城を築き尾張上四郡を支配した。一方、敏定の後裔は織田大和守家として清洲城を拠点に下四郡の守護代となっている。
　1556(弘治2)年、稲生の戦いで城主織田信安が、織田弾正忠家当主の織田信長の弟で末森城主織田信行(信勝)に味方したため、信長と対立し、1558(永禄元)年、浮野の戦いで信安の跡を継いだ嫡男信賢は、信長と犬山城主織田信清の連合軍に敗れ、翌1559(永禄2)年3月、岩倉城に篭城するも信長に攻撃されて落城した(1558年落城説もある)。
　標高10mの低い台地上に築かれた平城で、発掘調査によって東西約104m,南北169mの規模であり、南北に長い長方形の本丸の周りを空堀,二ノ丸,内堀,外堀が巡っていたと推測されている。南側と五条川を挟んだ北東側に家臣の屋敷地があったとされる。また、南方の小田井城と相対していた。現在は本丸跡には岩倉城址と織田伊勢守城址の碑が建てられている(後者の碑は1860年に建てられたもの)。