築城年代は定かではなく、1561～66(永禄4～9)年、織田信長は稲葉山城攻略のため墨俣に築城を命じるが、最初に命ぜられた佐久間信盛と次の柴田勝家ともに斎藤軍の攻撃により失敗した。3人目に命じられた木下藤吉郎はわずかな期間で築いたと伝えられている。ただ、不明な点を多く残すのも事実である。1480(文明8)年に斎藤利藤が斎藤利国(妙純)と争った美濃文明の乱で、利藤が墨俣城を拠点としたという(場所は異なる？)。
　1584(天正12)年4月、小牧長久手の戦いを目前にして当時美濃を支配していた池田恒興の家臣･伊木忠次が改修した記録がある。しかし、2年後の1586(天正14)年には木曽三川の大氾濫で木曽川の流路が変わり(現在の位置)、墨俣は戦略上の重要性を失ったため、以来この地が城として使われることはなかった。
　現在、城址には金の鯱を配した城郭天守閣型(模擬天守)の歴史資料館が建つ。