築城年代は定かではないが、室町時代に浅賀氏(あるいは浅賀氏以前の在地領主)によって築かれたと推測される。1419(応永26)年に延暦寺が伊黒村一帯を支配する浅賀左近尉を滅ぼした。その後、延暦寺下司職で打下城主の林与次左衛門家臣である林右京亮の居城(打下城の支城)であったとされ、西にある日吉神社は明応年間(1492～1501年)に林右京亮によって創建されたといわれる。
　永禄年間(1558～70年)頃には、城主は林氏から比叡山の元衆徒である法泉坊新庄俊長に替わり、浅井氏に属して伊黒及び以南を領していたという。
　1573(天正元)年、織田信長の攻勢に屈して信長に降ったが、同年中に浅井長政の攻撃を受けて攻め滅ぼされた。
　伊黒城は伊黒集落の南西の山裾、日吉神社の東隣にあり舌状台地を利用し築かれていた。台地の上は現在圃場整備されており、旧状は定かではないが、北西の先端部に土塁のついた曲輪のような地形がわずかに残っている。