築城年代は定かではないが、1460(寛正1)年頃の城主はこの地の土豪･佐久間信盛(後の織田信長家臣となる信盛とは別人)だったという。1531(享禄4)年頃、松平三郎左衛門家範が城主となったが、1533(天文2)年には佐久間全孝(重行)が入った。佐久間氏は松平氏と対立関係にあり、近隣の豪族たちと共に松平氏の岡崎城を攻撃したが、松平清康によって撃退され、逆に清康からの攻撃を受けて落城、各所を転々とする身となった。
　その後、守山崩れによって清康が死去すると、佐久間氏は西広瀬城に返り咲き、再び松平氏と対立する。1549(天文18)年、全孝は岡崎に刺客･岩松八弥を送り込み、松平広忠を暗殺した。これに対して、松平氏は全孝暗殺のために天野賢景を西広瀬城に派遣し、全孝は重傷を負ったという。
　1554(天文23)年、御船城主,東広瀬城主の三宅右衛門太夫貞保,高貞,光貞らに攻められ、三宅帯刀が入城した。しかし、1558(永禄元)年には三宅高貞は織田方に寝返ったため、1561(永禄4)年には松平元康に攻められ大敗を喫した。
　そして、1576(天正4)年頃からは、織田信長家臣の佐久間信盛や兄弟の信直,嫡男の信栄が居城した。しかし、1580(天正8)年に信長から追放されると父共々高野山に入った。信栄は父･信盛の死後、1582(天正10)年1月に赦免されて織田信忠に仕え、本能寺の変後は織田信雄に仕え、小牧長久手の戦いにも従軍している。
　西広瀬城は矢作川と飯野川の合流点に位置し、急峻な切岸の上に主郭,二の曲輪,三の曲輪が北から順に並び、主郭の北西に土塁,櫓台が残る。
　なお、北東約850ｍのところに広瀬古城跡、矢作川を挟んだ東南に東広瀬城跡がある。