991(正暦2)年、一条天皇から小野氏邸宅の隣を寺地として下賜された仁海僧正が開山となり、牛皮山曼荼羅寺を創建したのが始まりとされる。本尊は如意輪観世音菩薩。仁海は小野流の祖であり、神泉苑にて雨乞の祈祷を9回行い、そのたびに雨を降らせたとされ、｢雨僧正｣の通称があった。伝承によれば、仁海は夢で亡き母親が牛に生まれ変わっていることを知りその牛を飼育したが程なく死んだ。それを悲しみ、その牛の皮に両界曼荼羅を描き本尊としたことに因んで、牛皮山曼荼羅寺と名付けたという。
　第5世住持の増俊の時代に曼荼羅寺の塔頭の一つとして隨心院が建てられた。続く6世･顕厳のときには順徳天皇,後堀河天皇,四条天皇の祈願所となっている。東寺長者や東大寺別当を務めた7世･親厳のとき、1229(寛喜元)年に後堀河天皇の宣旨により門跡寺院となった。その後一条家，二条家，九条家などの出身者が多く入寺している。江戸時代中期の関白･太政大臣となった九条尚実は隨心院の門跡であった。
　隆盛期には多くの伽藍が建造されたが、承久の乱や応仁の乱によりほとんど焼失した。応仁の乱後は寺地九条唐橋や相国寺近辺などへたびたび移転したが、1599(慶長4)年、24世･増孝(九条家出身)のときに曼陀羅寺の故地に本堂が再興されている。
　また、隨心院は小野小町ゆかりの寺としても知られる。小野小町は絶世の美女として知られており、美人の代名詞ともいえる人物である。随心院が所在する小野は小野氏の一族が栄えたところであり、宮中で仁明天皇に仕え歌人として知られる小野小町もこの地の出で宮中を退いて後も過ごしたとされる。隨心院には小町の晩年の姿とされる卒塔婆小町像を始め文塚,化粧井戸などいくつかの遺跡が残る。