1344(興国5/康永3)年、児島高徳が築き、嫡男の児島勘解由高盛が城主となった。1384(元中1/至徳1)年頃、児島高徳の3男･三宅貞宜が城主となり、以後、三宅氏代々の居城となる。天文年間(1532～55年)の頃、三宅高貞は1533(天文2)年の松平清康との井田野の戦いなど松平氏との戦いを続けたが、1560(永禄3)年の古鼠坂(仏楚坂)の戦いで松平元康に敗れ、落城となる。この戦いで高貞の養嗣子･三宅高清が討死、三宅高貞は元康に仕えることとなる。
　城は矢作川に面した丘陵に築かれており、現在は主郭が広瀬神社の境内となっている。城域は東西約200ｍ,南北約150ｍで堀がコの字状に城を取り巻いていた。東麓に居館跡があり、その南側と西側に土塁が残る。主郭へはこの土塁上を歩いて向うルートと広瀬橋近くの石段から上るルートがある。
　矢作川を挟んだ北西には織田信長の家臣･佐久間氏の西広瀬城跡、その北東約850ｍのところに広瀬古城跡がある。