1553(天文22)年、織田信長が家臣･平手政秀の菩提を弔うために沢彦和尚を開山として小牧山の南にある小木村に創建したのが始まりである。山号は瑞雲山、本尊は十一面観音。
　平手政秀は織田信秀･信長の2代に仕えた志賀城主で、主に外交面で活躍し、茶道や和歌などに通じた文化人でもあった。1534(天文3)年に信長が誕生すると傅役となり、濃姫との婚約も取りまとめた。信秀の死後、織田家中が不穏となる中で、1553(天文22)年閏1月13日(2月25日)に自刃した。享年62。自刃の理由としては、信長の奇行と長男の不忠を憂い、自身の死で双方を諌めたとする美談や信行(信長の弟)の家督継承者に推す家臣との対立など、諸説ある。
　政秀寺は1584(天正12)年の小牧･長久手の戦いで焼失したため清洲へと移転された。その後、名古屋城築城と共に清洲越しにて1612(慶長15)年に現在地へと移された。第二次世界大戦での名古屋空襲で焼失したため、後に再建された。
　なお、境内にあった平手政秀の墓は、現在は平和公園墓地の政秀寺墓域山頂に移転されている。首塚は名古屋市西区中小田井の東雲寺にある。