創建時期は定かではない。明治時代の廃仏毀釈までは｢吉野山の奥の院｣と呼ばれ、約8m四方の建物であった。その名の通り、四面を正面とする考え方で、建物の四面に観世音菩薩，不動明王，愛染明王，地蔵菩薩が一体ずつ配置されており、どの面からも尊像を拝むことができる堂宇であった。
　建物は廃仏毀釈により、金峯神社造営のための普請小屋として移築されてしまい、現在は平坦地となっている。また、古絵図にはこの辺りが｢役行者御母公廟所｣とあり、四方正面堂が廟所と思われ、移築の際には母公像とされる都藍尼像が桜本坊へ移された。