卫青是长期征战，积劳成疾而死的。

有一次汉武帝召见卫青，由于汉武帝正欲寻长生不老药沉迷于神仙故事的书籍，使得卫青在大殿外顶着太阳站了大半天，晕倒了。卫青苏醒后没有及时治疗，任然去朝见汉武帝，最后病入膏肓，逝世了。

史书记载，元封五年（前106年），卫青病逝，汉武帝为纪念他的彪炳战功，在茂陵东北修建了一座阴山形状的墓冢，“起冢象庐山”。谥号为“烈”，取《谥法》“以武立功，秉德尊业曰烈”之意。