754(天平勝宝6)年、鑑真が朝廷に招かれ奈良に向かう途中に当地を訪れて開創し、そののち弟子で東大寺戒壇院の恵雲が北の北嶺山上にお堂を建立し屋島寺と称し初代住職になったという。815(弘仁6)年、嵯峨天皇の勅願を受けた空海がお堂を北嶺から南嶺の屋嶋城跡地に移し、千手観音像を本尊として南嶺屋島寺を創設したとされる。天暦年間(947～57年)には、明達が四天王像と現在の本尊となる十一面千手観音坐像を安置した。
　1391(明徳2)年頃は奈良西大寺の末寺であった。
　江戸時代には高松藩の保護下にあり、江戸時代初期まで本土と離れた島であったが、1637(寛永14)年には藩主の生駒高俊により陸続きとなった。その後、藩主･松平頼重が旧跡を惜しんで、1647(正保4)年に本土との間に水路(相引川)が復元されている。
　山門(仁王門),四天門あるいは東大門から境内に入ると、本堂,大師堂,三躰堂,千躰堂が並ぶ。また、瑠璃宝の池は空海がお経と宝珠を納めて池にしたとの伝説があるが、1185(元暦2/寿永4)年2月19日の屋島の戦いで武士たちが血の付いた刀を洗ったことから血の池とも呼ばれるようになった。