築城年代は定かではなく、古くは平安時代末期に五男十郎という者が壇ノ浦の戦いでの褒美として当地を得、城を築いたというが詳細は分からない。15世紀後半には紀伊国熊野地方から鵜殿氏が渡ってきて、上ノ郷城のほか、下ノ郷城(蒲形城),不相城(丸山城),柏原城を築き一族を配置して、現在の蒲郡市のほぼ全域と幸田町の一部を勢力下に治めていった。宗家の上ノ郷城主は初代の鵜殿長善から駿河国今川氏と結んで長将,長持,長照へと続いた。
　1560(永禄3)年、桶狭間の戦いで今川義元が討たれると、松平元康は今川家から独立し三河統一を進めるが、鵜殿長照は義元の妹の子であり今川方に留まったため、当城は松平氏の勢力圏内に孤立するかたちとなった。
　1562(永禄5)年、元康と松平清善ら松平勢が攻撃するが、上ノ郷城はなかなか落城せず、元康は甲賀衆を用いて城内に火を放ち、その混乱の中から攻め入ったと伝わる。鵜殿長照は討死にし、子の氏長,氏次は捕らえられた。元康は彼らの身柄と引き換えに、義元のときに人質として差し出していた正室の瀬名姫と嫡男･竹千代(信康),長女の亀姫らを返還するよう今川氏真へ要求し、双方の人質が交換された。
　鵜殿氏の後は元康の義理の父にあたる久松俊勝が入り、俊勝の子･松平康元に継がれ、1590(天正18)年に徳川家康が関東に移封となると池田輝政が有したが、まもなく廃城となった。
　現在は大部分がミカン畑となっているが、郭や空堀,土塁,井戸などが残存している。