築城時期は定かではないが、承久の乱後、熊野別当だった鳥居行範の子･鳥居行忠が紀州熊野を追われ、三河国矢作庄に移住して築城したことに始まる。
　17代･鳥居忠吉は松平清康･広忠に仕え、今川氏の管理下にて阿部定吉とともに実務にあたり、駿府城で人質になっている竹千代(家康)が帰参するであろう将来に備えて倹約･蓄財に心血を注いだ。忠吉死後、長男･忠宗は渡の戦いで討死していたため、3男の元忠が家督を相続し、家康に仕えた。1590(天文18)年の家康関東移封に伴い、下総国矢作城4万石へ移ったが、その後、鳥居氏は代々当地に残り、本家は養子姓の長嶋氏を名乗り、分家は鳥居氏を名乗っている。
　城跡には高さ2mほどの土塁がＬ字型に残されており、東側には堀跡と思われる溝が確認できる。なお、城跡の屋敷には子孫の方が住まわれているようで、屋敷の入口脇に城址碑(渡城址･渡里伝内忠氏築城之地)と長嶋氏(長嶋氏家譜)の石碑が建てられている。
　また、城址碑の西30mほどのところには鳥居氏一族発祥地の石碑や鳥居忠宗墓所がある。