大須賀康高は高天神城攻めの際、この地に布陣した。1578(天正6)年、徳川家康の命を受けて、横須賀城築城を始め1580(天正8)年に完成させ初代城主となった。1581(天正9)年、康高が岌屋春阿上人(応声教院17世)を招いて開山したのが撰要寺の始まりとされる。西は入江に面し、風光絶景の地で山号を景江山とし、寺名は浄土宗の『撰釈本願集』と『往生要集』よりとって撰要寺と名付けた。1584(天正12)年以降、大須賀氏の菩提寺として庇護され、2代大須賀忠政は一時、上総国久留里に移封されるが、1601(慶長6)年、再び横須賀城主となり撰要寺に寺領10石を寄進している。江戸時代を通じて歴代横須賀藩主から庇護され10万石の格式を得て寺運も隆盛した。
　山門は横須賀城の不開門(あかずの門)を明治初めの廃城時に撰要寺に移築したもので、総松材造りで｢丸に立葵｣の紋章がつけられているところから12代城主･本多利長の在城時代の建造とされ、町指定文化財となっている。
　境内には大須賀康高,忠政の墓碑をはじめ、高天神城の武将小笠原家一族や本多利長一族の巨大な墓碑群などがある。