築城年は定かではないが、1493(明応2)年、北条時行の末裔･横井時永がこの地に移住したことに始まる。16世紀後半には、横井宗家3代･時延，4代･時泰や分家の藤ケ瀬横井家、祖父江横井家が、織田信長，豊臣秀吉，徳川家康と政権が交代しても巧みに時代の波を乗り切り、この地を領有した。江戸時代に入ると、尾張徳川家｢尾張衆｣として、海部郡周辺を領して屋敷を構えた。また、幕末には横井小楠を輩出している。
　現在は赤城神社がある区域の微高地が城跡とされているが、当初は北北東約700mの定納白山神社(二子町松原)辺りに築城されたとされる。しかし、度重なる洪水で被害を受けていたため、1675(延宝3)年に微高地の現位置に屋敷を構えたという。したがって、周囲に見られる堀跡(水路)も江戸時代に造られたものである。
　なお、現在も当地には横井氏が住んでおられ、横井邸には城の黒門が移築されている。さらに、城の裏門も北西約300mにある一心禅寺(赤目町中屋敷)に移築されている。