築城年代は定かではないが､浮気時房によって築かれたとされる。 浮気氏は北条氏の出で、北条時綱のときに浮気を領し名乗りとした。現在は住吉神社の境内となっているが､近江大橋取付道側の北と西側の土塁は2～3mの高さで比較的よく残り、一部堀跡も残っている。
　南北朝時代には浮気階常が後醍醐天皇に仕え、藤丸五葉二花の紋を賜った。また、応仁の乱(1467～77)では浮気貞綱が佐々木政尭と三上山麓で戦っているが、基本的には代々佐々木六角に従っていた。佐々木氏滅亡後は織田信長,豊臣秀吉に仕え､1570(元亀元)年に信長が本願寺勢力と対立した際には、勝部城,守山城と共に信長側の拠点のひとつとして奉行が置かれたと｢金森日記抜｣に記されている。