築城年代は定かではないが、1367(貞治6/正平2)年頃に鹿伏兎讃岐守盛宗によって標高263mの牛谷山山頂に築かれたとされる。鹿伏兎氏は関氏6代関盛政の四男盛宗が鹿伏兎谷を領して鹿伏兎氏を称したことに始まる。当初は牛谷城と呼ばれていたが、7代鹿伏兎定好のときに修築して鹿伏兎城と呼ばれるようになり、さらに、その子の定長が将軍･足利義晴に白鷹を献上したことから白鷹城とも呼ばれるようになった。
　1568(永禄11)年、織田信長の伊勢侵攻により一族の神戸友盛が信長の三男信孝を養子に迎えて和睦した結果、関一族は信長の傘下に入ることとなった。
　1583(天正11)年、織田信長亡き後の跡目争いで10代鹿伏兎定義は織田信孝に与したため、織田信雄,羽柴秀吉方の攻撃を受けて鹿伏兎城を捨て京都へと去った。
　縄張りは大きく主郭,二郭と物見台から成る。牛谷山山頂は主郭ではなく物見台と思われる小さな郭であり、北東下の一段下がったところが主郭のようである。主郭の北と南に虎口が開き、北虎口に面した北端部に一段高い土壇となっており、虎口を形成する土塁の外側には石垣が設けられている。二郭は主郭の南東側に一段下がったところで、南側には石積みで形成された涌井(井戸)がいまも水を貯えている。
　なお、麓にある神福寺は居館跡といわれており、寺の石垣も城積みの石垣と伝えられる。