1360年，被朱元璋请至应天，任谋臣，展现一个非常成功的兵法家的才能。刘基针对当时形势，向朱元璋提出避免两线作战、各个击破建策，被采纳。辅佐朱元璋集中兵力先后灭陈友谅、张士诚.等势力。

1367年，参与制定朱元璋的灭元方略，并得以实现。共参与军机八年，筹划全局。

1370年，为嘉勉刘基的功荣，授命刘基为弘文馆学士。十一月朱元璋大封功臣，本想封刘基为丞相，但刘基一再推脱，只好作罢。因此申请还乡。朱元璋授命他为开国翊运守正文臣、资善大夫、上护军，并封为诚意伯。

尽管刘伯温说得都是大道理，不过他心里应该明白，让他出来收拾李善长，既是利用，也是试探他的忠诚度。他一旦受命或可减轻朱元璋的猜疑，然而，唇亡则齿寒，此例一开，以后朱元璋对待开国功臣元老就会换另外一副面孔，此等不义之举，按刘伯温的个性是绝不可为的。

正因为如此，第二年他就请退，告老还乡了。