築城年代は定かではないが、永禄年間前半(1558～63年頃)に夏目吉久が築いたとされる。平安時代末期に源国忠が奥州合戦の戦功によって信濃国伊那郡夏目村の地頭職を得て、その子･国平が夏目姓を名乗り、国泰の代に三河国幡豆郡六栗へと移住してきた。国泰の兄弟も三河国設楽郡や甲斐国八代郡へと移住している。
　夏目氏は代々松平家に仕え、吉久は松平清康,広忠,元康に、子の夏目吉信は元康(家康)に仕えている。しかし、1563(永禄6)年に起こった三河一向一揆では吉信は一揆側に与し、大津半右衛門,乙部八兵衛らと野場西城に籠って元康に敵対した。城は深溝城の松平伊忠の調落によって落城し、吉信は捕らわれの身となったが、伊忠の取り成しもあり松平家への帰参を許された。
　1572(元亀3)年、三方ヶ原の戦いでは、大敗を喫した家康が家臣の制止を振り切って突撃しようとしたため、吉信が家康の兜をかぶり身代わりとなって武田軍に突撃し討ち死を遂げ、一揆時に助命された恩に報いた(三方ヶ原古戦場:夏目吉信碑)。
　吉信の長男である吉忠(吉為)が跡を継ぎ、その息子である宗吉まで続いたが、無嗣断絶となり慶長年間(1596～1615年)に六栗城は廃城になったと思われる。なお、吉信の次男と三男は旗本として家系をつなぎ、三男の吉次の末裔には夏目金之助(漱石)がいる。
　城の位置は六栗の『山屋敷』『中屋敷』辺りとされるが、確証は無く不明である。
　なお、夏目吉久,吉信,吉為の墓および位牌は明善寺にある。