築城年代は定かではないが、弘治年間(1555～58年)に長野一族である細野城の細野藤光によって築かれ、子の藤敦の時に拡張されたという。伊勢で最大規模といわれるほどの堅城であった。
　1568(永禄11)年、北伊勢を制圧した織田信長は中伊勢に侵攻を開始する。信長家臣の滝川一益の攻撃に対し細野藤敦は籠城して抵抗したが、弟の分部光嘉,川北藤元は信長の弟の信包を長野氏の養子に迎えて和議を整えようとした。一方、北畠氏から長野氏の養子となった長野具藤は、藤敦が信長方に属したとの流言に惑わされて細野氏を攻めたが、逆に藤敦に攻め込まれて生家の北畠家へと敗走した。これにより信包が長野氏の当主となり細野氏はじめ長野一族は織田信長の配下となった。
　1580(天正8)年、織田信包は長野氏一族の排除を画策し細野氏の安濃城に侵攻したため、藤敦は自ら城に火を放ち逃れた。藤敦は、後に蒲生氏郷を頼って家臣となり、蒲生氏減封後は豊臣秀吉に仕えたという。また、1727(享保12)年、細野氏の子孫で京都の豪商となった荒木光品が大般若経600巻を阿由多神社へ奉納している。
安濃城は美濃屋川に面した標高30～59mの丘陵に築かれ、東西450m,南北350mの範囲に及んだ。現在、主郭には阿由多神社が祀られているが、周囲には土塁や櫓台,空堀,井戸跡などの遺構を確認することができる。