显庆二年，程咬金任葱山道行军大总管讨伐贺鲁。军队到达怛笃城，有胡人数千家开门出降，程知节屠城而去，贺鲁逃得远远的。回师以后程咬金被免官。不久，又被授任岐州刺史。程咬金上表求辞职，朝廷允许了。麟德二年二月七日也就是665年2月27日，程咬金在长安怀德里的家中去世，享年七十七岁。李治下诏追赠骠骑大将军、益州大都督，陪葬于昭陵。谥号襄公。同年十月十一日，葬于九嵕山之原。