築城年代は定かではないが、浜名氏の一族の大屋氏が居城したとされる。1568(永禄11)年、徳川家康は遠江侵攻を企て、佐久城の浜名頼広に今川方から徳川方へ寝返ることを勧めたが、頼広は応じなかった。そして、家康が浜松に侵入したことを知った頼広は、身の危険を感じ家臣数人を連れて甲斐武田氏を頼って落ちていった。主将を失った佐久城では、一族の長老大屋政頼が大将となって徳川軍を迎え撃とうとしたが、翌年になって徳川軍からの降伏勧告を受け入れ、佐久城を開き城から退去していった。この時期、大屋左馬允政景の土居城も廃城になったと考えられる。