1564(永禄7)年の三河一向一揆のあと、徳川家康の命により石川数正が築いたとされる。三河一向宗の拠点であった本宗寺があった御堂山に本丸、250mほど東に位置する御坊山に二の丸がある。
　1563(永禄6)年に始まった三河一向一揆は、上地城主の大見藤六が当初松平方として軍議に参加していたが、その翌日に一揆方に寝返って作戦の詳細を一揆方に漏らしたことで家康の怒りを買い、土呂の地は焼土と化し、やがて一揆は鎮圧された。
　御堂山の本丸跡には土塁と思われる土盛が残され、蓮如上人墓地(京都山科より分骨)がある。なお、一揆にて本宗寺も焼失したが、三河三ヶ寺と呼ばれた勝蔓寺,上宮寺,本證寺が一向一揆終息後も同じ地に再建されたのに対し、本宗寺は土呂では再建されず現在の美合町に再建された。
　二の丸跡には同じく焼失した土呂八幡社が数正によって再建されている。城の遺構としては石垣がわずかに残っているという。