築城年代は定かではないが、応永年間(1394～1428年)頃に林氏によって築かれたとされる。駒場城は阿智川南岸の標高693.7mの城山から東へ伸びた尾根に築かれており、主郭を中心に東西に伸びた尾根に堀切と曲輪が連なっている。駐車場から２条の堀切を経て主郭虎口へと登ると、かなりの広さを有する主郭が現れる。この主郭から南北の斜面には幾段もの小曲輪が階段状に配されている。主郭から城山山頂に伸びる西の尾根は五条の堀切で断ち切られており、東の尾根には曲輪や堀切が確認できる。城山からは眼下に阿知川と三州街道を一望することができ、この地が交通の要衝を押さえる絶好の場所にあることがうかがえる。
　駒場城は、その後、天文年間(1532～55年)に武田氏によって修築された。また、1573(元亀4)年、上洛の途についた武田信玄が病のため信濃へと撤退する途中、この駒場にて死去したといわれている(浪合や根羽とする説もある)。
　1582(天正10)年、織田信長が武田勝頼の領国信濃へと攻め入った際、信長は川尻秀隆に命じて駒場城を修築させている。
　1676(延宝4)年の絵地図には｢城山,御公儀林,松立｣と書かれていて幕府の天領「御林」として存在していた。