1170(嘉応2)年5月25日、奥州藤原秀衡が鎮守府将軍･陸奥守に任ぜられたことで、初代･清衡の代からの奥州藤原氏の居館であった柳之御所が政庁，平泉館として大改修され、秀衡が柳之御所の南西に新たに伽羅御所を建築したものと推測される。以後4代泰衡の代まで藤原氏の居館として使用され、藤原氏の子息たちの屋敷も周囲に立ち並んでいた。
　無量光院の東門に接して建てられていた藤原氏の居館の地は、現在は宅地や畑となり、僅かに内堀跡や土塁の一角跡や、遺跡の井戸跡から金銀の蒔絵箱に納められた和鏡が見つかっているが、民家が密集している地域のために大規模発掘調査を行うことができず詳細は不明である。奥州市の歴史公園「えさし藤原の郷」では伽羅御所が推定復元されており、平安時代の寝殿造の様式を再現した日本唯一の建造物となっている。