縁起によれば、626(推古天皇33)年、志度浦にたどり着いた檜の霊木を凡薗子尼(智法尼とも)が草庵へ持ち帰り安置し、その霊木から本尊･十一面観音を造立し、小さな堂を建て祀ったのが始まりとされる。
　681(天武天皇10)年、藤原不比等が堂宇を増築し｢死度道場｣と名づけたという。また、693(持統天皇7)年には不比等の子･藤原房前が行基とともに堂宇を建立し寺名を｢志度寺｣に改めたと伝えられている。その後、弘仁年間(810～23年)に空海が伽藍の修理にあたっている。
　室町時代には四国管領の細川氏が代々寄進を行うことで繁栄し、室町後期になると敷地内および近隣に多くの僧坊や支院末寺を塔頭として抱えた。のちの戦乱により寺院は荒廃したが、安土桃山時代から江戸時代初期にかけて高松藩主の生駒親正による支援などを得て多くの僧坊が復興した。さらに、1671(寛文10)年の高松藩主･松平頼重の本堂,仁王門寄進に伴い、僧坊も改めて再編され圓通寺,自性院(当地出身の平賀源内の墓所がある)など複数の塔頭寺院が独立するに至る。
　仁王門(国重文)をくぐり進むと、境内には鐘楼堂,閻魔堂,奪衣婆堂,大師堂そして本堂(国重文)が建つ。五重塔は1975(昭和50)年に落成したものである。北側には生駒親正墓所と、藤原不比等と恋仲になった伝説の海女の墓がある。