1556(弘治2)年に今川方であった鱸兵庫助が美濃の岩村衆と広瀬右衛門大夫と協力して普請したという記録がある。城の歴史については明らかではない。
　矢作川と介木川との間を西へ伸びた標高240m,比高70mの尾根上に築かれており、麓の増福寺から遊歩道が付けられている。遊歩道には八十八弘法の祀られており、突き当りまで行くと左に｢弘法山石仏｣、右に｢小渡城址｣の案内板がある。
　山頂に堀切で隔てられた主郭と副郭があり、主郭には石塔、副郭には坐像が建てられている(城跡との関係は不明)。また、堀切の南側続きで南東側面には畝状空堀群がみられるのが特徴である。
　城址と反対方向(西側)には｢弘法山石仏｣が祀られた平削地と土塁がある。ただ、ここは城域外とされており多くの石仏,石像,石塔も明治時代に安置された。