大业十三年，天下起兵反隋的队伍蜂拥而起，隋炀帝所在的江都被孤立了。晋阳令刘文静、晋阳宫监裴寂都是李世民的密友。李世民就和晋阳县令刘文静密谋造反。 起兵造反的计策确定后，鹰扬府校尉刘武周发动兵变，杀死马邑太守王仁恭，据马邑而自称天子。农历三月，刘武周攻破楼烦郡，进占汾阳宫，并与突厥勾结，图谋南下争夺天下。炀帝闻讯后大怒，要提李渊到江都治罪。裴寂、许世绪、武士眜等也纷纷劝李渊起兵，李渊终于下定了反隋的决心。于是，李渊借口防备刘武周和突厥南下，派李世民、刘文静、长孙顺德、刘弘基等人到各地募兵，在很短的时间里便招到数千人。 同年农历五月，隋恭帝被迫禅位于李渊，李渊即皇帝位于长安，国号唐，建元武德，定都长安，是为唐高祖。李渊以李世民为尚书令。