築城年は定かではないが、1493(明応2)年、北条時行の末裔･横井時永がこの地に移住したことに始まる。16世紀後半には、横井宗家3代･時延，4代･時泰や分家の藤ケ瀬横井家、祖父江横井家が、織田信長，豊臣秀吉，徳川家康と政権が交代しても巧みに時代の波を乗り切り、この地を領有した。江戸時代に入ると、尾張徳川家｢尾張衆｣として、海部郡周辺を領して屋敷を構えた。また、幕末には横井小楠を輩出している。
　1675(延宝3)年には、この地は度重なる洪水で被害を受けていたため、南南西約700ｍの杉土居地区の微高地に屋敷を構えたという(赤目城跡)。