築城年は定かではないが、長沼氏の居城とされ、戦国時代には愛宕山城の支城であった可能性が高い。長沼氏は鎌倉幕府の御家人の一人･長沼五郎宗政が知られ、矢津山東端の長沼郷を本地としていた。
　城は観音山という小丘陵上に存在したが、現在は愛宕霊園の墓地造成に伴い消滅してしまった。過去の調査では、土塁に囲まれた主郭とその東に二の曲輪があり、堀で区切られていた。湖沼が点在する要害の地であったという。