回族的族源可以追溯到唐代。根据现有史料，唐高宗永徽二年（651年），阿拉伯和波斯的穆斯林商人陆续由海路来华，在广州、泉州、杭州、扬州及长安等城市定居。

他们建筑了中国最早的一批礼拜寺，不少人娶妻生子，繁衍生息，世代定居，并建立公共墓地。他们被称为蕃客或土生蕃客，被视为回回民族的先民。

13世纪初叶蒙古西征，西辽破灭。葱岭东喀什噶尔等地信仰伊斯兰教的回纥（回鹘）人的后裔，同葱岭西的中亚及波斯；阿拉伯广大地区不同民族的穆斯林，大批被签发或自动迁徙到东方来。他们主要以驻军屯牧和以工匠、商人、学者、官吏、掌教等不同身份散布在中国的西北、中原及江南、云南等地区，被称为回回人，成为元代色目人中的重要部分。大批色目人来到中原定居，为了实行对中原地区长久有效的统治，他们强令中原人移风易俗，其中很大一部分中原人就此被同化了。

后来，他们也以回回自称，是形成回族的主要部分。元代到明代前期，回回人中包含有信仰伊斯兰教的回纥（回鹘）人的后裔，他们同当时高昌及河西一带仍信仰佛教的畏兀儿人相区别，明中叶以后，维吾尔族普遍接受伊斯兰教信仰，而当维吾尔人迁到内地之后，自然地渐渐同化于回回之中。

元、明以来，不少蒙古贵族及其士卒因接受伊斯兰教信仰而逐渐同化于回回之中。明代哈密地区的哈剌灰人，原是蒙古人，正德（1506~1521）以后由哈密迁到肃州，到万历年间已经不食猪肉，与回回同俗。这些习俗信仰都改变的民族，就被聚合在一起，统称为回族，这也是现代回族人的起源。