1032(万寿9)年､井伊氏の祖である井伊共保によって築城されたと伝わる。南は三方からの敵の動きが分かり、北は標高が高い山が連なっており、攻めにくい地形に造られている城である。本丸,二の丸,三の丸などで構成された山城である。
　南北朝時代は、井伊谷城が平時のときに生活していた居城で、三岳城が戦になったときに立て籠るための詰め城だったとされる。南北朝時代、井伊道政は後醍醐天皇の皇子宗良親王を伊勢より招き、親王は道政の娘を正室として迎えている。また宗良親王の子・尹良親王も井伊谷城に生まれたと伝承されている。今川範国が井伊谷を攻め、今川方と井伊一門は井伊城や麓の三方ヶ原で戦闘となる。1340(暦応3)年には北朝方の高師泰,仁木義長らに攻められ井伊谷城は落城した。
　その後、戦国時代に入ると、井伊氏は今川氏に属し1560(永禄3)年の桶狭間合戦で井伊直盛が討死、家督を継いだ井伊直親も1562(永禄5)年に今川氏真に謀叛の疑いをかけられて朝比奈泰能によって討たれた。直親の嫡子虎松がまだ幼小であったため、出家していた直盛の娘が還俗し女性の身でありながら直虎と改称して当主となり、虎松の成長を支えた。
　現在、井伊谷城は建物は残っていないが、二の丸,三の丸跡などがある。