築城年,築城者は定かではないが、室町時代の末期に小夫氏によって築かれたとされる。小夫氏は1414(応永21)年に幕府に召された衆徒･国民53氏に名がみえる。十市氏との結びつきが強く、しばしば十市氏の山内逃避の経路となっていた。1481(文明13)年に越智方の秋山氏らに攻められて自焼し没落したのちは、越智方についた。1498(明応7)年には、没落した越智氏をかくまい吉野に逃したのち、小夫城は十市氏らにより攻められ落城した。さらに、松永久秀が大和国へ入国後は、いったん軍門に降ったが、1565(永禄8)年に秋山氏とともに叛旗を翻したことで松永軍に小夫郷を焼き払われ、籠城するも落城した。
　城は標高435ⅿ,比高55ⅿの山頂に削平された二段の郭(主郭とⅡ郭)を中心とし、その周囲には竪堀，帯曲輪を巡らし防御している。特にⅡ郭北側の竪堀は規模が大きい。Ⅱ郭へはこの竪堀の右に見て虎口に至るが、そこはⅡ郭，主郭，帯曲輪にもつながる。Ⅱ郭は約30ⅿ×40ⅿの長方形に近い。北東の坂虎口を上ると主郭であり、Ⅱ郭よりやや面積は小さいが、東側に土塁、周囲には帯曲輪を備え、南には急峻な切岸に竪堀が設けられている。
　城の北側に大手道、そして南東から南西の谷に下りる道が搦手とみられている。