矢田丘陵の南端近くにある松尾山の中腹に位置する山寺である。718(養老2)年、天武天皇の皇子･舎人親王が42歳の厄除けと『日本書紀』編纂の完成を祈願して建立したと伝わる。『続日本紀』延暦元年(782年)7月21日条には、｢松尾山寺｣の尊鏡という101歳の僧についての言及がある。また、松尾山の山頂近くに位置する鎮守社の松尾山神社境内からは奈良時代にさかのぼる古瓦や建物跡が検出されており、当寺が奈良時代の創建であることは間違いないと思われる。中世以降は興福寺一乗院の支配下に属するとともに、法隆寺の別院とも称された(松尾寺は法隆寺の北方に位置し、法隆寺西院伽藍の背後から松尾山へ至る参詣道がある)。
　現存する本堂は1277(建治3)年に焼失した後、1337(建武4)年に再建されたものであり、本尊の千手観音立像は鎌倉時代の作である。なお、1953(昭和28)年の本堂解体修理中に、屋根裏から焼損した仏像の残欠が発見され、これは建治3年の火災以前に祀られていた旧本尊像ではないかと推定されている。
　室町時代以降は、吉野の金峯山を主な修行の場とする修験道当山派の拠点としても栄えた。当山派では山伏の最高位である正大先達を中心として｢正大先達衆｣という組織を構成したが、松尾寺には当山派正大先達衆に関わる多くの古文書が残されている。
　江戸時代には後水尾天皇が持仏の如意輪観音像を当寺に下賜している。
　本堂は中世の大型仏堂の貴重な遺構で、和様を基調とした比較的簡素な建築意匠ではあるが、大仏様の様式も取り入れられ、新和様と呼ばれる。境内には、行者堂，阿弥陀堂，七福神堂，経蔵，本坊，福寿院，鐘楼があり、中心伽藍より一段高い位置に建つ三重塔は1888(明治21)年の再建であるが、一部に古材が使用されている。また、十三重石塔には舎人親王の毛骨を納められているという。北の松尾山山頂の観音堂の跡地には松尾山神社が建つ。