築城年は定かではないが、戸田氏が渥美郡に勢力を伸ばす以前の室町時代に築かれたとされ、城主に杉浦右衛門太夫,杉山久助俊輝などの名がある。
　ただ、領主･杉浦氏はここから東方の殿村に居を構えていたとされ、1881(明治14)年に杉浦氏の臣族の末裔･鈴木氏が城郭内に構えていた居を他へ移して城跡を畑地としてしまったという。その意味では杉浦氏の城跡は殿村となる。
　城館資料では、寶林寺北側の四方を急傾斜で囲まれた台地端の高所(標高21m,比高18ｍ)が杉山城の主郭跡と比定されているが、杉浦氏の家老･松岡治右衛門の居城跡や浜御殿などがあったともいわれている。その後、応仁の乱で杉浦氏一族は離散滅亡し、杉浦氏の城館跡には戦国時代に杉山俊輝が居したとされる。さらに、杉山氏の後は、杉浦氏の臣族･鈴木某が城郭内に居を構えて代を重ね、明治に至ったという。
　寶林寺裏手の高所は墓地とその用地,駐車場となっており、遺構などは残されていない。また、寶林寺の山門への道は土橋を思わせ、その両脇の弁天様が祀られているところは堀跡とみられる。