742(天平14)年8月､聖武天皇は近江国甲賀郡紫香楽村での離宮の造営を命じる。そして、743(天平15)年10月15日に大仏造立の詔を発し、同年10月19日に盧舎那仏像を安置するために紫香楽に寺地を開いており、これが甲賀寺にあたる。その後、紫香楽宮は新京として事実上の皇都として位置づけられ、盧舎那仏像の造営も着手されたが、745(天平17)年4月から山火事や地震が連続的に発生したため、同年5月に聖武天皇は恭仁宮次いで平城宮に移り、甲賀宮は廃都とされた。甲賀寺は近江国分寺に転用されたとする説が有力視される。なお、大仏造立は平城京還都後に東大寺に継承された。
　伽藍は、中門,金堂,講堂,僧坊が南から一直線に配されるいわゆる東大寺式であったことが判明している。塔周囲にも回廊が巡らされていた。
なお、現在の寺跡地は、当初、紫香楽宮跡と推測されていたが、近年の発掘調査で宮町遺跡が内裏跡だと判明している。