築城年代は定かではないが、谷氏によって築かれた城である。東側とは高低差がある若桜神社境内を主郭とし、西側と南側に土塁が盛られ、土塁の外側には堀が巡らされている。西側には堀切がみられる。
　若桜神社は歴史が古く『延喜式』神名帳にもその名がみえるため、谷城は神社境内を主郭として周辺の防御性を高め、砦化したとも考えられる。