1、卫子夫晚年容貌不再，所以汉武帝对她比以前冷漠；

2、卫家的功臣霍去病、卫青大将军均已逝世十几年，导致汉武帝渐渐忘记他们曾经为国家立下的功劳；

3、卫太子刘据被人陷害，反抗失败后，逃逸被人发现，所以刘据自杀，儿子去世后卫子夫的景况大不如前；

4、汉武帝娶了钩弋夫人，并有了幼子刘弗陵，即后来的汉昭帝，导致卫子夫的地位越来越低。