築城年は定かではないが、平安時代末には源行家が丘陵裾の長泉寺近くに屋敷を築いていたと伝わる。行家は、以仁王の挙兵を各地の源氏に伝え歩いたことで知られる(ただ、行家の動きで挙兵が露見したともいわれる)。一時は三河国に勢力圏を築きつつあったが、1181(養和元)年の墨俣川の戦いで大敗を喫し、鎌倉の源頼朝のもとに逃れた。その後、1186(文治2)年に謀反を疑われ、長男･光家,次男･行頼とともに斬首されている。
　五井城には、戦国時代初期、上ノ郷城の鵜殿氏の一族が居城したともいわれる。
　1485(文明17)年頃、岩津城を本城とする松平家3代･松平信光の7男･松平忠景が侵攻し、五井城に入城して五井松平氏の初代となった。2代･松平長勝(元心)は長泉寺を曹洞宗に改宗させて五井松平氏の菩提寺とした。五井松平氏は、3代･信長，4代･忠次，5代･景忠，6代･伊昌と続き、松平宗家に仕えて.桶狭間の戦い,姉川の戦い,三方ヶ原の戦い,長篠設楽ヶ原の戦い,小牧長久手の戦いなどに参戦し武功を挙げている。伊昌のとき、徳川家康の関東移封に伴い下総国印旛郡へ移り、これにより城は廃城となったと思われる。
　城は長泉寺の南東辺りとされ、現在の御宮池は掘の一部と考えられる。現在は公園,畑地,住宅地となっている。長泉寺墓地の北側に初代～5代の五井松平氏墓所がある。