621年に厩戸皇子が創建した平群熊凝精舎に始まると伝えられ、舒明天皇時代の639年、平群熊凝精舎を百済川のほとりに移して百済大寺とし、さらに天武天皇が飛鳥高市へと移し高市大寺を造営、677年に尼僧を取り締まる官寺として大官大寺と改称した。浄御原･藤原京時代には、薬師寺，飛鳥寺，川原寺と並ぶ飛鳥四大寺の主位にあった寺である。
　寺域は左京9条4坊の2町と10条4坊の4町を占めており、寺院の東側には中つ道の推定線が通っている。
　伽藍配置は、南から南門，金堂，講堂が並び、金堂の東側前方に九重で90mを越えるとも言われる塔があった。回廊は中門から伸び、金堂両側に着くものと、講堂背後に回りこむものとがあった。回廊で囲まれる範囲だけでも東西144m，南北195mの大きさになり、東大寺の創立当初の回廊規模と同じである。現在は、塔の土壇と金堂の土壇が残るだけである。奈良にある大安寺はこの寺が移転されたものと言われている。