築城年は定かではないが、応仁,文明年間(1467～87年)頃を思わせる縄張りであるとされ、築城者,城主も中山祐斎，滝氏，西郷氏(石谷氏)，戸塚忠春(西郷局の父)など諸説あるが、いずれも根拠に乏しい。1494(明応3)年に今川方の伊勢長氏(のちの北条早雲)が遠江三郡に侵攻した際に、高藤城の原氏に与して反抗したが、倉真城，美人ヶ谷城などとともに制圧されたという。
　南約800ⅿに美人ヶ谷城があるが、構造も異なり関係性は不明である。滝ノ谷城は標高112m,比高60mの山頂に築かれ、城域に入ると、まずは幅20ⅿほどの堀切状の鞍部に出る。その北には物見といわれる北曲輪があり、主郭は南の丘陵上に南北60ⅿほど延びる。その南端には一段下がって腰曲輪が設けられている。また、東側にも徐々に下りながら東曲輪が延び、この東曲輪と主郭で覆われた斜面には竪堀のような地形がみられる。