築城年は定かではないが、鎌倉時代初期には守護職の大屋中三安資の居城があったとされる。大屋安資は、『吾妻鏡』にも登場する尾張国の武士である。城は大矢町高松辺り、現在のオリエンタル営業本部･工場が建つ辺りとされ、高松城とも呼ばれた。ただ、遺構は残されていない(敷地内に見える盛土は昭和になって盛られたものとのこと)。オリエンタル工場から南約500mほどの桂昌寺は大矢城主の菩提寺で、城主の位牌が残っているという。『愛知県中世城館跡調査報告(尾張地区)』では、桂昌寺の東側(大矢町村内上)一帯を大矢城推定地としている。
　戦国時代になると、織田信雄の老臣･滝川刑部少輔雄利がこの地に住み、南方に新たな大矢城を築いたという。位置については2説あり、前述の桂昌寺の東側一帯とする説と、大江川を挟んで大矢白山町の現･中央食糧工場の西側一帯とする説であるが、いずれも遺構は残されていない。