築城年は定かではないが、豊臣秀吉の家臣･杉原家次の子である杉原伯耆守長房の居城とされる。1584(天正12)年、長房は家督を継いで秀吉に仕えた。1592(文禄元)年の朝鮮出兵の際には、名護屋城に駐屯した。1596(慶長元)年に豊後国杵築城主を経て、1598(慶長3)年に但馬国豊岡城主になっている。。関ヶ原の戦いでは西軍に与したが、妻が浅野長政の娘で縁戚関係にあったことから、許されて但馬国豊岡藩を立藩した。
　烏森城の位置は明確ではなく、禅養寺,天神社の南東辺りの方形区画とされるが、現在は住宅地に変わっており遺構は残されていない。