1439(永享11)年、一色刑部少輔時家によって築かれたとされる。一色時家は関東公方足利持氏家臣の関東一色氏で、一色持家と同一人物とみられている。永享の乱により関東公方足利持氏と幕府が対立すると、一色時家は持氏の命により一色直兼とともに上野国平井城の関東管領上杉憲実を討伐へと向かったが敗れてしまう。一色直兼は自刃し、一色時家は同族の三河守護職一色氏を頼って三河へ逃れ、この地に長山一色城(一色城とも)を築いた。
　1477(文明9)年、一色時家は家臣の波多野全慶によって討たれ、城主となった波多野全慶は、1493(明応2)年に同じく時家の家臣であった牧野成時(古白)に灰塚野で討たれた。同年に牧野城から一色城へ移った牧野成時は、1505(永正2)年には今橋城を築いて居城を移し、一色城には瀬木城から牧野成勝が移った。その後、成勝は牛久保城を築き一色城は廃城となった。
一色城は豊川により河岸段丘の東端に位置し、現在の大聖寺一帯に築かれていた。遺構はその背後にある土塁と東方にある宅地内にも一部土塁が残るという。なお、大聖寺の境内には一色時家の墓があり、同所には今川義元墓所(胴塚)もある。