築造年は定かではないが、平安時代末期に猪鼻氏によって築かれたと考えられ、鎌倉時代以降は浜名神戸庄の地頭となった浜名氏が居住したとされる。南北朝時代、浜名左近大夫清政は北朝に味方したため、井伊氏など南朝勢力に押され一時期は遠江を離れていたが、北朝幕府軍が南朝方･井伊氏の千頭峯城,三岳城,大平城を落とすと勢力を回復し、この地に戻った。1346(貞和2)年には、清政は佐久城を築いて居城を移している。
　居館跡は現在の隣海院とその奥に八柱神社境内辺り一帯とされるが、明確な遺構は残されていない。