創建時期は定かではないが、世尊寺は吉野山金峯山寺の塔頭のひとつで、釈迦如来を本尊とし、山号を鷲尾山と号した。
　現在は寺跡には僅かに梵鐘と人丸塚と呼ばれる石造物が残るのみである。｢和州芳野山勝景図｣によれば、境内には｢子守塔｣と呼ばれる宝塔があったという。寺院は吉野水分神社の北に位置し、現在の花矢倉付近にあったとされる。
　明治の神仏分離により荒廃して廃寺となったが、本尊の釈迦如来立像は金峯山寺の蔵王堂に安置され、本尊の脇侍であった阿難，迦葉尊者像は同寺の観音堂に安置されている。また、世尊寺旧蔵の天照大神像，戎神像は大阪今宮戎神社、童形神坐像(伝･聖徳太子像)は吉野山内の竹林院に保管されている。以上の仏像･神像はいずれも鎌倉時代の作である。
　世尊寺跡に残る梵鐘は1160(永暦元)年の鋳造で、鐘身の高さ160cm、竜頭を含む総高207cm、口径123cmの大型鐘である。銘文によれば、1140(保延6)年に平忠盛が熟銅を施入し鋳造させたものであったが、鐘声が小さいことから、20年後の1160(永暦元)年に改鋳したものという。重要文化財に指定されており、現在はコンクリート製の鐘楼に収められている。
　なお、本鐘は俗に東大寺の鐘｢奈良太郎｣、高野山金剛峯寺大塔の鐘｢高野二郎｣と併せ、｢吉野三郎｣と称されている。
　人丸塚については正体不明の仏像石で、かつてあった五輪塔か何かの一部だろうと考えられている。人丸塚の名称の由来も不明で、この石に願をかけると子供に恵まれる｢人生まる塚｣とか、火を防ぐ呪力を秘めているため｢火止まる塚｣とも伝えられている。