1592(文禄1)年からの西の丸建設の際、城下東側の海面(日比谷入江)を埋め立て西の丸下とした。海と繋がっていた頃は荷揚げ場や人寄場、天海の屋敷の他に本多忠勝や里見氏の屋敷があったが、継続して埋め立てが行われ、海から切り離されて以降は主に幕閣に連なる譜代大名の屋敷地となった。初期には和田倉という蔵地が置かれ、蔵がなくなって以降も和田倉門の名のみが残った。また西側には厩、東側には馬場があり、隣接する門は馬場先門と呼ばれていたが、1904(明治37)年に解体されている。
　西の丸下の建造物として、外桜田門(国重文)がある。桜田門には内桜田門と外桜田門の2つが存在するが、前者は桔梗門(二の丸に属す)とも呼ばれ、単に｢桜田門｣という場合には後者を指すことが多い(ここでは外桜田門を指す)。寛永年間(1624～44年)に建造され、現存する門は1663(寛文3)年に再建された門がもとになっている。江戸城の内堀に造られ、桜田堀と凱旋堀の間にあり、外側の高麗門と内側の渡櫓門の二重構造の桝形門である。1923(大正12)年の関東大震災で一部が破損したため、鋼鉄土蔵造りに改修された。
　1860(安政7)年3月3日、この門の近くで水戸藩浪士らによる大老･井伊直弼の暗殺事件が起きた(桜田門外の変)。また、1932(昭和7)年には昭和天皇の暗殺未遂事件が起きている(桜田門事件)。
　西の丸下は、明治時代になり大名の屋敷などは撤去され、現在は皇居外苑のひとつとして広く開放されている。