築城年は定かではないが、1466(文正元)年頃に祖父江五郎左衛門が神明社を勧請したとあることから、それを正とするならば、その頃に築城されたと考えられる。その後の家系は不明であるが、戦国時代に祖父江五郎右衛門尉久豊が織田信長･信雄に仕え、その子･祖父江孫九郎信勝は1600(慶長5)年の関ヶ原の戦いで福島正則に属して戦功を挙げ、竹腰･西島の地を与えられた(竹腰城跡，西島城跡)。
　1608(慶長13)年頃、信勝は祖父江芳斉と号して西島城南の旧恵日寺に隠居するが、1614(慶長19)年の大坂冬の陣の際、豊臣方との内通が発覚し、翌1615(元和元)年に伏見で切腹を命ぜられ、御家断絶となった。
　代わって、祖父江城には横井時延の4男･横井作左衛門時久が入り、尾張藩主･徳川義直より1900石を賜って隼鷹匠頭を務めたという。横井家は八開村の赤目城を宗家とし、時久は祖父江横井家の祖となる。城主に井野蔵人正の名もある。
　城跡は永張寺･神明社の南辺りとされるが、民家や畑地に変わり、遺構は残されていない。なお、永張寺は横井時久の菩提寺である。