築城年は定かではないが、武田方の後藤九左衛門善心の居城とされる。1562(永禄5)年に今川氏真の命で渡辺平内次らによって攻められ落城した。その後、善心は津具城を築いて移ったが、1569(永禄12)年には徳川方の作手奥平貞能,名倉奥平信光らによって攻められ落城、善心と長男次男は討死し3男は信濃国に逃れたという。
　城は白鳥神社前の中腹(標高690ｍ,比高30ｍ)辺りとされるが、明確な遺構は残されておらず城域の特定はむずかしい。薬師堂入口付近に後藤善心の塔と案内板が設置されている辺りともいわれる。
　舞庭から少し登り左手に入り橋を渡ると、白鳥神社本殿へつながる白鳥山登山道がある。