高館は北上川に面した丘陵で、判官館とも呼ばれる。現在では、その半ばを北上川に浸蝕され狭くなっているが、この一帯は奥州藤原氏初代清衡の時代から要害地とされていた。源頼朝に追われ平泉に再び落ち延びた源義経は、藤原秀衡の庇護のもと、この高館に居館を与えられた。しかし、1189(文治5)年閏4月30日、義経は藤原泰衡の急襲(衣川の戦い)に遭い、この地で妻子とともに自害したと伝えられる(源義経妻子墓所)。
　 1683(天和3)年、仙台藩主第4代伊達綱村が義経を偲んで丘の頂上に義経堂を建てた。現在の堂は1808(文化5)年に再建されたもの。中には宝暦年間(1751～63年)の作とされる甲冑姿の義経像が本尊として祀られている。
　 高館からは、安倍頼時治世の頃に1万本の桜を植林した桜花の名所(現在はその景観は見られない)だった束稲山が臨め、また西方(展望左手)を臨むと、衣川が北上川に流れ込む。ここは弁慶の立ち往生で知られた場所でもある(武蔵坊弁慶墓所)。また、前九年後三年の役の戦場ともなった場所である。