築城年代は定かではない。東西約30m,南北約180mの細長い城で富部神社(当時は存在せず)の南西方向約500ｍ辺りにあったと考えられる。三方を海に囲まれた半島状の要害の地だったともいい、四方を崖に囲まれて東側に池があったとも伝わる。この地域は笠寺台地上であり周辺は海で｢年魚市潟(あゆちがた)｣と呼ばれ、｢愛知｣の地名の発祥地とも言われている。
　戸部氏は当初織田氏に従っていたが、駿河の今川氏とも関係を持ちはじめ、安祥城の戦いで織田信広が今川方に捕らえられたとき、今川義元に信広の助命の仲介をした人物が戸部政直だったとされる。しかし、織田信秀が病没すると、鳴海城の山口教継や沓掛城の近藤景春らと共に織田方から今川方へと寝返り、今川義元の妹を娶ったとされる。
　また、寝返った際には戸部城の700mほど南にある織田方の寺部城主･山口重俊が攻め寄せてきたが、逆に重俊を敗死させている。
　しかし、1557(弘治3)年、戸部政直は織田信長の策略により今川義元によって三州吉田で殺され、戸部城も廃城になった。
　なお、城址碑は、1929(昭和4)年に城跡より東へ約300m移設され、さらに2016(平成28)年4月に約500m北の富部神社内へと再度移されている。
　また、一説には戸部城はもともと笠寺城といい、山口氏の後に戸部氏が入ったことで呼び名が変わってしまったという説もある(笠寺城は史料に著されるものの比定地がない)。