築造年は定かではないが、この地は平安時代中期より神宮神領となり、その荘官下司の居住地であったとも推測されている。室町時代には今川氏の家臣で二俣城主･松井氏が預かり代官を置いた地ともされ、永禄年間(1558～70年)には今川氏真が浜名三郎正国に扶助し、その弟の大屋政頼の一族が入部して管理し、この地に住んだと推測されている。また、1592(文禄元)年、浜松城主･堀尾吉晴の一族の吉継が隠居所としたという。
　居館跡は浜松市立尾奈小学校,神明神社の東側に突き出た丘の上にあり、現在はみかん園,宅地となって遺構は残されていない。