築城年は定かではないが、文明年間(1469〜87年)に美濃守護代･斎藤利国の家臣であった中島三郎大夫重長によって築かれ、以後、重直，重光，重行と4代･70年以上にわたって続いたが、1562(永禄5)年の織田信長の西美濃攻略によって滅亡した。
　1567(永禄10)年、織田信長の命で駒野城主だった高木貞久が今尾城へ移り、貞利，貞盛と続いたが、1584(天正12)年の小牧長久手の戦いで織田信雄に従っていたため、秀吉軍によって攻められ、戦後には秀吉の家臣･吉村氏吉に与えられた。なお、1583(天正11)年頃は森寺忠勝が城番となっていた。
　その後、1587(天正15)年に市橋長勝が城主となり、1599(慶長4)年には当地で1万石を領している。1600(慶長5)年の関ヶ原の戦いの前哨戦･南美濃の戦いでは、松ノ木城主の徳永寿昌らと共に福束城を落城させた。その功績で1万石を加増され、1608(慶長13)年に伯耆国矢橋藩に移封された。
　代わって竹腰正信が当地で今尾藩主となると、今尾城は廃されて跡地に今尾陣屋が設けられ、敷地の南･東･北に堀が、西には堤が築かれた。正信は1619(元和5)年に1万石を加増されて3万石となると1622(元和8)年からは今尾に住み、以降は代々、尾張藩の付家老として藩政を支えた。陪臣のため今尾藩は正式な藩ではなかったが、1868(明治元)年に立藩が認められ、1万石を尾張藩に返還して2万石の藩となった。なお、1871(明治4)年に廃藩されている。
　城は揖斐川左岸(東側)に位置し、敷地の一部は現在の海津市立今尾小学校になっている。また、 近くの西願寺(海津市平田町今尾)には山門として城門が移築現存している。