築城年代は定かではないが、戦国時代に熊谷正直(直長)によって築城された。熊谷直鎮が1333(元弘3)年に六波羅の合戦で武功を上げたことで三河国八名郡の地頭職を足利高氏(尊氏)から与えられ、熊谷重実のときに同郡宇利庄に移り住んで宇利城を築いた。しかし、重実の孫･正直の代である1529(享禄2)年に松平清康に城を攻め落とされ、額田郡高力郷に落ちついて高力氏と姓を改めた。その後は、高力城を築き、松平家,徳川家に仕えた。
　｢仏高力、鬼作左、どちへんなきは天野三兵｣と三河三奉行のひとりとして有名な高力清長も1530(享禄3)年にこの城で誕生している。1535(天文4)年の守山崩れ後、尾張の織田信秀が三河国に侵攻し、そのときの戦いで清長の祖父･高力重長と父･高力安長が戦死し、6歳だった清長は叔父の高力重正に養育され松平氏に仕えた。三河一向一揆後の1565(永禄8)年には、本多重次,天野康景らと共に三河三奉行に任命される。
　その後は、姉川の戦い,三方ヶ原の戦い,小牧長久手の戦いに参戦し、1590(天正18)年の家康関東移封に従い武蔵国岩槻に移り、高力城は廃城となった。
　城跡は相見川沿いに石碑が建つのみで遺構は残されていないが、北西の山泉寺や高力神明宮辺りも城域の一部であったといわれている。