1920年至1924年先后去法国和德国勤工俭学，在旅欧的中国学生和工人中宣传马克思主义，发起组织旅欧中国少年共产党（后改称旅欧中国社会主义青年团）。

1922年转入中国共产党（由张申府等人介绍），任中国社会主义青年团旅欧总支部书记，并参加中共旅欧总支部的领导工作，对早期的建党、建团工作起了重大的作用。

1924年8月从巴黎回国，曾任黄埔军校政治部主任，国民革命军第一军政治部主任，中共两广区委委员长、常委兼军事部部长，主持建立党直接领导的革命武装叶挺独立团。