1575(天正3)年、長篠の合戦で武田氏を敗った徳川家康は、武田氏家臣の依田信守,信蕃父子が守る二俣城攻略に懸かり、このときに築城し本陣を置いたとする説が一般的であるが、それ以前に築かれていたともいわれる。このとき鳥羽山城のほかに、毘沙門堂砦,蜷原砦,和田ヶ島砦を築いて二俣城を包囲した。父信守が病死するなか、依田信蕃が指揮して半年にわたり奮戦したが、援軍の望みを絶たれ兵糧も尽き果てたため、全城兵の助命を条件に和睦に応じた。信蕃以下の城兵たちは城内を清掃して開城し高天神城へと退去した。家康は、その信蕃の統率力に感心しのちに家臣に迎えている。
　現在天竜川は鳥羽山城の南を流れているが、当時は北側を流れ、二俣城とは天竜川を挟んで対峙する位置にあった。主郭は山頂にあり野面積みの石垣を用いた曲輪で、北に搦め手、南に大手、東に通用門の虎口を設けている。特に南の大手虎口は大きな外桝形でそこから両側を石垣で固めた大手道が続く。また、主郭の内部では庭石の遺構が見つかり、立石などから安土桃山時代の枯山水庭園があったと推測されている。1590(天正18)年から1600(慶長5)年の間に二俣の地を領有した堀尾宗光による城郭改修の際に作庭された可能性が高い。
　なお、鳥羽山城遺構は、地元の郷土史研究家である鈴木喜代治氏が、1951(昭和26)年から20数年にわたって単独で発掘を行った結果、存在が明らかになり、1974(昭和49)年から翌年にかけて天竜市教育委員会(当時)による大規模な発掘調査が行われた。