築城年は定かではないが、室町時代に築かれた興福寺大乗院方の国民であった山田氏の居城である。山田氏は東山内において福住氏，多田氏と並ぶ有力国人で、文明年間(1469～86年)には古市方に属し、応仁の乱でも勢力を広げ、筒井氏勢力下の福住氏と対立しながら、城の北方に進出して所領を広げた。
　戦国時代には、山田順貞が城主となり、筒井氏と姻戚関係を結びながら(筒井順慶の叔父となる)勢力を拡大した。永禄年間(1558～70年)には、東方に馬場城を築き拠点を移している(そのため、当城は｢山田古城｣とも呼ばれている)。順貞は、入道し｢道安｣と名を改めた後、1567(永禄10)年の松永久秀と三好三人衆との戦いで焼け落ちた東大寺大仏仏頭再鋳に尽力した。また、彫刻･絵画にも専念して、戦国武将芸術家として後世に名を残した〔1573(天正3)年没〕。
　城は大きく東西の尾根に築かれている。東側は南東に向かって傾斜した尾根先端(標高550m,比高120m)に主郭，Ⅱ郭とその腰曲輪が築かれ、細長い主郭の背後は切岸，堀切と竪堀によって防御されている。主郭とⅡ郭の間には、現在は登山道となっている堀切があり、Ⅱ郭は四角形に近く、その南東の尾根先に向かって二段の腰曲輪が続いている。南側面の谷には畝状竪堀群がみられる。
　西背後の山にも何本かの堀切が造られているが、Ⅲ郭は緩斜面尾根で地山的な印象が強く、西への城域拡大の途中に馬場城へと拠点を移したのではないかとも考えられている。
　なお、岩掛城の南方には、山田順貞が入道し山田氏の菩提寺でもある蔵輪寺がある。