世宗因大礼议之故，对杨廷和、杨慎父子极其愤恨，常问及杨慎近况，大臣则回答杨慎“老病”，世宗才稍觉宽慰。杨慎听闻此事，更加放浪形骸。常纵酒自娱，游历名胜。《乐府纪闻》称他“暇时红粉傅面，作双丫髻插花，令诸妓扶觞游行，了不为愧。”终世宗一世，六次大赦，杨慎终不得还，按明律年满六十岁可以赎身返家，但无人敢受理。杨慎年近七旬时，曾返回泸州短住，不久又被巡抚派人押解回永昌。嘉靖三十八年七月，卒于戍地。明穆宗隆庆初年，追赠光禄寺少卿，明熹宗天启时追谥文宪。