1247(宝治元)年、遠山三郎兵衛景重が築城したとされる。遠山十八城のひとつ。源頼朝の重臣であった加藤景廉が遠山荘の地頭になり、その子の岩村城主景朝が遠山姓を名乗った。遠山景朝の子が景重である。この家系が江戸時代の南町奉行･遠山景元(金四郎)につながる。
　美濃国東濃地方は信濃国,三河国との国境に位置するため、戦国時代には美濃攻略を狙う武田と織田の争奪戦が繰り広げられた。始めは武田信玄に従っていた遠山家だが、遠山景行は織田信長の婚姻政策によって織田方についた。
　1572(元亀3)年、武田信玄の西進の際に高遠城主の秋山虎繁(信友)は岩村城を攻略し、さらに上村合戦で明知城,苗木城,飯羽間城,串原城を攻略した(遠山景行は自刃)。1574(天正2)年、信玄の遺志を継いだ勝頼は15000の大軍をもって明知城を包囲したため、織田軍と連絡を取り武田軍を挟撃しようとしたが、高遠友信の謀反により籠城していた坂井越中守一族が殺害され城は武田方へと明け渡された。1575(天正3)年には長篠の戦いで勝利した織田方が明知城を奪還。しかし、1583(天正11)年、金山城主森長可の圧迫で遠山利景は明知城から去り徳川家康に仕えることになる。1584(天正12)年の小牧長久手の戦いで森長可(長可は長久手で戦死)の家臣が守る明知城を攻略したものの、その後、豊臣秀吉の命令により明知城は森氏に返された。
　1600(慶長6)年、関ヶ原の戦いの際、家康は秀忠軍のルート確保のために遠山利景に東美濃奪還を命じた。利景と嫡男の遠山方景は、岩村城主田丸直政の家臣の山川左之助,原土佐守が守る明知城を攻撃し奪還に成功した。その功によって遠山氏は恵那郡と土岐郡内に6530石を領し、1615(元和元)年、明知陣屋を築いて明知城は廃城となった。
　城は標高530m,比高80mの山に築かれた天険の地形を巧みに利用した平山城で、主郭は山頂にあり、南東下に二の丸、西下に三の丸、南に出丸など多数の曲輪群を有する。曲輪群の外側を巡るように横堀と巨大畝状竪堀群が設けられている。