単に館跡と称されているが、安倍頼時と子の貞任の居館跡があったと伝えられている。安倍氏は頼時の祖父忠頼の頃から上衣川の安倍館を本拠としていたが、父忠良を経て頼良(後の頼時)の代にこの地に本拠を移したとされる。移転した年代は定かではないが、遅くとも1045(永承元)年頃には完了していたものと考えられる。南北へ通じる主要道を館の東側に通し、それに伴う衣河関は館の東南にあたる地とした。
　1062(康平5)年9月、前九年の役の厨川の戦いで源頼義,清原氏連合軍の攻撃を受け、安倍貞任がこの地を撤退するまでは安倍氏勢力の中心舞台であった。