仕离京，犹如一介寒儒。他一再告诫家乡族人不要因他在朝做高官，便倚势凌人干不法事。他居朝十载，不进一内臣，不容一私谒，不滥荫一子侄。
他回乡后，嘉靖还常常思念他，多次遣使看望。
现在严嵩也要提致仕了，当年支持嘉靖的议礼诸臣，已经凋零殆尽，这让嘉靖颇为感伤，对严嵩说道：“张璁、桂萼、顾鼎臣等人，皆以作古，如今惟卿尔，卿其勉力为之！所请不允。”
严嵩只得行礼之后回到内阁值房，继续办公。