築造年は定かでないが、室町時代に神谷石見守高正によって築かれたと伝えられている。神谷氏は南北朝時代に新田義貞と行動を共にし、義貞死後、三河国上和田へ落ち延びた武茂泰藤(宇都宮氏)の流れを汲むといわれる。高正の子･高朝は応永年間(1394～1428年)に国江城を築き、また、高正館の西に隣接する地に幸福寺を建立して父の菩提を弔った。高朝の3代後の高宗のとき、1506(永生3)年にこれまで属した松平氏を裏切り今川氏に寝返ったため、安祥城の松平長親に攻められ駿河へと落ち延びたと言われ、国江城と共に高正館も破却されたと考えられる。
　館跡は幸福寺の東に位置するが明確ではなく、現在は宅地や畑地となり遺構は残されていない。