築城年は定かではないが、緒川城主･水野信元によって築かれたとされ、1543(天文12)年に知多半島制圧をめざし榎本了円の成岩城攻略を進めた際には稲生光春を配したと伝わる。稗田川を挟んで東には榎本了円の平地城があった。
　飯森城は東に延びた舌状台地の東端に築かれており、現在は微高地に民家が並び遺構は残されていないが、東側の先端部分には堀跡と思われる窪地がみられる。