築城年は定かではないが、阿部因獄正の築城とされ、後に安藤薩摩守信平,帯刀父子が入り安藤氏代々の居城となった。もとは明眼寺という安藤氏ゆかりの寺である。安藤家重は松平宗家8代広忠に仕えたが、1540(天文9)年に安城合戦で織田信秀軍に討たれて戦死した。三河一向一揆(1563～64年)の際、徳川家康は本城(本寺)に身を寄せ難を逃れたことで、寺に｢源｣の一字を与え、妙源寺と改称された。
　三方ヶ原の戦いで戦死した安藤基能の長男が安藤直次であり、幼少期より徳川家康に仕え、姉川の戦いはじめ、長篠の戦いや小牧長久手の戦いなどで活躍している。1590(天正18)年、家康の関東移封に伴い、桑子城は廃城になったと考えられる。
　城としても遺構は残されていないが、同地には安藤直次墓所はじめ、多くの武士の墓がある。