1435(永享7)年頃、菅沼三郎左衛門満成が標高799m,比高390mの岩古谷山山頂に築いたとされる。平時は西麓の荒尾館に居住し、岩古谷城は詰の城として機能した。2代･元成は長篠城を築いて移ったが、一族はその後も在城していた。
　1571(元亀2)年、菅沼満直が城主のときに武田軍の攻撃を受け籠城し、食料が尽き苦戦の中で平山村に面した絶壁から長い綱をかけ先端の鉤によって兵糧を運び上げたという伝説が残されている(鉤掛岩のいわれ)。
　1572(元亀3)年10月、武田信玄が徳川領国への侵攻(西上作戦)を開始すると、菅沼満直は武田方に降り、武田軍とともに各地を転戦した。しかし、1573(天正元)年、信玄の死去により徳川軍が攻め寄せた際に落城し廃城となった。満直らは長篠城を経て鳳来寺に撤退し、さらに信濃国へと逃れた。満直はその後、1575(天正3)年の武田勝頼による長篠城攻撃(長篠設楽原の戦い)に参加している。1582(天正10)年3月に武田氏が滅亡すると、織田･徳川方に降伏を申し入れるが、赦されず殺害された。
　城は、南北に北一曲輪から北六曲輪が連なり、南に位置する岩古谷山の頂上が本曲輪となっている。また、西に井戸曲輪、東に東曲輪を設けた広大な城域となっている。各所には物見が置かれている。絶壁,巨岩,大滝といった天険の要害に築かれた城である。
　登山口は堤石トンネル登山口,和市登山口,塩津登山口の3ヶ所があるが、ルートによってはハシゴやワイヤー,ロープで絶壁を上り下りする箇所もあり、東海自然歩道の三大難所のひとつに数えられている。