築城年は定かではないが、すでに創建されていた鴨江寺を城塞化したものと考えられる。歴史資料上、鴨江城の名が出てくるのは南北朝時代で、後醍醐天皇の皇子･宗良親王を迎え南朝方についた井伊道政,高顕父子は三岳城を本拠とし、南方面の支城として鴨江城を置いた。このほか、北を天山城(別名:田沢城)、西を千頭峯城、東を大平城の支城で固めた。
　1339(暦応2/延元4)年、足利尊氏の命を受けた高師泰,高師冬,高師兼,仁木義長らの北朝軍は、まず7月26日にここ鴨江城を落とした。平城で防御性の低い鴨江城は5日で落城したという。その後、北軍は10月30日に千頭峯城、翌年の正月30日には三岳城、さらに8月24日に大平城を落とし、宗良親王は城から城へと退却したが、ついには遠江国での拠点を失い、信濃国へ落ちていった。その後、鴨江城は史料に登場せず、鴨江寺として再建されていった。
　城域は明確ではないが、鴨江寺から浜松市立西小学校にかけた辺りとされるが、遺構は残されていない。