1584(天正12)年、蒲生氏郷は羽柴秀吉から伊勢国12万3千石を与えられ、近江国日野城から松ヶ島城に入城した。その頃に住した邸宅跡と思われる。遺構は残されていない。
　1588(天正16)年には、松ヶ島は伊勢湾に面し城下町の発展性がないと考え、現在の松坂城の地に新たに築城を開始し、松ヶ島住人も強制的に移住させ、旧領の近江商人を町の中心部に呼び寄せて日野町とし楽市楽座を設けた。
　1590(天正18)年、氏郷は小田原征伐の軍功により陸奥国会津60万石の大封を得て若松城へと移った。