築城年は定かではないが、鎌倉時代に加藤景俊が永良郷に来住して城館を築いたのが始まりとされる。のちに加藤家は代々松平家に仕え､1563(永禄6)年、賤ヶ岳七本槍の一人として名を馳せた加藤嘉明がこの地で生まれている。
　嘉明の父･加藤教明は1563～64(永禄6～7)年の三河一向一揆の際に、松平元康に反旗を翻して一揆側に味方したため、一揆鎮圧後は父子とも三河国を離れて流浪の身となった。この時点で上永良城も廃城になったと考えられる。
　その後、教明は京で身を起こし、嘉明は豊臣秀吉に仕えて賤ヶ岳の戦いはじめ多くの戦いで武功を挙げ、関ヶ原の戦いの後は伊予国松山20万石の大名となった。
　城跡は現在、神明社となり遺構は残されていないが、境内には｢加藤嘉明生誕地｣の碑が建てられている。また、天然記念物の樹齢1000年と推定される大椎の木が聳え立つ。