柳生宗矩の子･十兵衛三厳が寛永年間(1624～43年)の初め頃に武者修行のため諸国行脚に出かける際に植えたと伝わる。ここには柳生家の墓所である中宮寺があった(柳生家墓所はのちに芳徳寺へ移された)。
　1621(元和7)年に宗矩が徳川家光の兵法指南役に就任してからは、十兵衛も父に従って家光の稽古に相伴していたが、1626(寛永3)年、20歳の時に何らかの理由で家光の勘気を被って蟄居を命じられた。家光の勘気自体は1年後には解けたが、再出仕は許されず、その後11年にわたって江戸を離れる。故郷の柳生庄に引き籠り、亡き祖父･宗厳や父が当地に残した口伝,目録について研究し兵法の研鑽に明け暮れたという。また、一方でこの間、武者修行などで諸国を遍歴したとされる。
　1973(昭和48)年の落雷により杉の木は枯死してしまったが、倒れることもなく現在も柳生の里のシンボルとなっている。また、傍らには2代目十兵衛杉が大きく育っている。