築城年は定かではないが、城主には神田右京亮元忠の名がある。城は標高490m,比高170ｍの城ヶ峰山頂に築かれ、主郭はＴ字状をなし、各先端下に腰曲輪と思われる平坦地がある(2～4郭とした)。また、主郭南西には畝状空堀群が残されている。畝状空堀群は鈴木氏の小渡城や市場城にもみられることから、白石城も鈴木氏による改修が推定される。また、東麓に古神明館跡(神明社)は白石城の居館とされている。