承久の乱の後、足利義季が上野国山田郡広沢から三河国額田郡細川郷に移り細川城山城を築き、地名より細川義季と名乗り細川家の始祖となった。その後、築城年は定かではないが、南に位置するこの細川城を築き移ったとされるが、両城の関係は明らかではない。細川一族は、1338(延元3/暦応1)年に京都に上洛した後は、松平氏の城となったと考えられる。
　細川領は大給松平家初代乗元が大給とともに父松平宗家4代親忠から与えられた地でもあり、2代乗正の時に細川城から大給城へ移ったという。大給松平家5代真乗は1575(天正3)年以降に大給から細川へ移り、1582(天正10)年に死没し菩提寺である松明院に葬られた。なお、城主には安城の西福釜松平氏の松平久助信乗らの名もある。
　現在は民家横の土塁上に石碑が立っているのみで遺構は残されていない。
　また、北の蓮性院には細川城主の細川義季,細川頼之,松平信乗らの墓所がある。さらに豊田市の隣松寺にも細川家三代(初代義季と弟義宗,2代俊氏,3代公頼)の墓がある。