蒙古贵族在西征得胜以后，主力挥师东进、南下，于至元十六年(公元1279年)灭掉南宋。在同南宋的作战中，蒙古贵族不断地从中亚一带调来军队。在东来的蒙古军队中，有大批的阿拉伯人和信奉伊斯兰教的波斯等中亚人。其中主要是士兵和工匠，也有商人和社会上层人物。这些人当时统被称之为“回回”，归于“色目人”一类。回回士兵是“探马赤军”的重要成分。这些穆斯林随着蒙古贵族对全中国的征服而散布于东西南北各地，西北、西南、中原、江南尤多。所以，《明史》说：“元时回回遍天下。”战争硝烟熄灭后，他们大部退役，成为普通农民，集中居住，进行农垦。这就是所谓“民屯”。还有“军屯”，就是军队一边戍守，一边垦殖。此外，回回工匠也多以军事编制进行手工业生产。这是造成后日回回“大分散，小集中”局面的历史根源。如果说唐宋两朝中国穆斯林在分布上还只是一个一个孤立的点，那么在元朝，中国穆斯林在分布上不仅连接成了线，而且铺成了面。在云南省，元时穆斯林业已“盈千累万”。元末至顺年间(公元1330—1333年)，镇江地方共有户数3845户，其中汉人3672户，蒙古人29户，回回59户；共有人数10555口，其中汉人9407人，蒙古人163人，回回374人。无论就户数还是就人口数来说，在非汉族中回回都占第一位，高于蒙古族。
在唐宋时期，中国穆斯林大都居住在城市，经济活动主要限于海内外商业贸易方面。到了元朝则发生了历史性的转变。穆斯林不但在城市有，而且在农村也有，并以后者为主。他们不但从事商业贸易，而且从事农业生产和手工匠作，并以后者为主。这为后来回族的形成奠定了经济基础。除为官者外，无论在农村还是在城市都以聚居为主。这种聚居方式对于伊斯兰教的巩固和发展是非常有利的，同时也促进了穆斯林社会的形成。
元代东来的阿拉伯人和波斯等信仰伊斯兰教的中亚人，是后来回族的骨干成分。
元朝时期中国西邻各伊斯兰国家也在蒙古人的统治之下，中国西部边界实际上处于开放状态；同时“色目人”在中国又属于统治阶层，这种情况无疑为伊斯兰教迅速地向东发展提供了方便条件。
为了便于管理迅速发展的伊斯兰教宗教事务，元朝设置了“回回掌教哈的所”这一官署。
蒙古开国诸汗大都执行宗教宽容政策。人们可以自由地信奉原有的宗教。各种宗教地位一律平等。但是，每个汗王又有自己所偏好的宗教。据说窝阔台汗比较喜欢伊斯兰教，其皇后的一个女官是穆斯林。元世祖忽必烈在皇后察必可敦怂恿下，尊崇佛教。元朝的藏传佛教(喇嘛教)处于国教地位。有一次在议论各种宗教得失的时候，忽必烈把佛教喻为手掌，把道教、儒教、基督教、伊斯兰教比作手指。在1282年的阿合马事件以后，他表现出“抑回”倾向。英宗时更加崇尚佛教，歧视伊斯兰教，至治元年(公元1321年)5月毁上都(位于今内蒙古正蓝旗)礼拜寺，改建八思巴帝师殿。泰定帝继位后，平衡各种宗教，笼络穆斯林。丞相倒剌沙和平章政事伯都乌拉都是穆斯林。泰定帝元年(公元1324年)由国库拨银四万锭，复建了上都及大同路礼拜寺。
“回回掌教哈的所”是一个中央机关。“哈的”是阿拉伯语音译，意为教法执行官。估计在地方行省应有其下属机构。在中国历史上，这是第一次设置全国性伊斯兰教管理机构。“回回掌教哈的所”的负责人就叫做“哈的”，或称为“回回大师”，主管宣教、教法等事宜。这一官署大概初置于元初，在至大四年(公元1311年)第一次被废除。这就是说，该年取消了伊斯兰教的中央管理机构，各地哈的可自行履行职务，不再有上下的隶属关系。第二年即皇庆元年(公元1312年)元朝皇帝又发布圣旨，对各地回回哈的的职责作出明确规定，哈的只管“掌教念经”，而回回人的户婚、钱粮、诉讼等大小公事“悉归有司”，哈的们不得过问。从中也可以看出，在回回掌教哈的所存在期间，回回的户婚、钱粮、诉讼等事，如果不是由哈的主管的话，至少他们也要过问。此后，哈的的基本权限由官方准许的只是“掌教念经”。回回掌教哈的所在泰定帝当政的四年里(公元1324—1328年)曾经复置。文宗继位后于天历元年(公元1328年)再次被废除。此后，这一机构似乎再没有恢复。哈的所被撤销后，哈的及伊斯兰教事务很有可能划归宣政院管理。宣政院是元朝设置的管理佛教及吐蕃事务的中央机关。在一些地方，例如河州(今甘肃临夏)，有其下属机构。我们可以看到，在宣政院所颁布的具有法律性质的一些规定中，有的内容就涉及伊斯兰教。
除哈的掌教制外，中国伊斯兰教的“三掌教制”也始于元代。其具体职能将在后面介绍。
元代伊斯兰教尚无固定的名称。称其为“真教”者有，称其为“清教”者也有。“回回教”或“回教”这一称呼在元代后期可能已经十分通行。不过，元代穆斯林则早已被称之为“回回”了。在“回回”中如果细分之，又有“答失蛮”、“迭里威失”、“木速鲁蛮”(或“木速蛮”)等等称谓。“答失蛮”是宗教学者阶层，包括宗教职业人士。“迭里威失”是苏非派托钵僧。“木速鲁蛮”(元代蒙古白话文常常写做“木速鲁蛮回回每”)，是广大穆斯林群众。这三种称谓都是波斯语的对音。
在元代穆斯林中，宗教学者、宗教职业者占有多大比重，缺乏直接的史料。特别是全国的情况，更不好贸然去说。但在元末的方志上有些间接的记载。虽有管窥蠡测之嫌，总可以搞清一些问题。元末宁波回回纳税户科定24户，其纳银48两。其中普通穆斯林户19户，纳银37.2两，宗教职业户二户，纳银4.8两，由一般教徒而充任政府译员(翻译阿拉伯语)者三户，纳银六两。宗教职业者户同一般教徒户之比为1：11，即11户教徒有一户宗教职业者。普通教徒户每户纳银1.96两，不到二两。宗教职业者户每户纳银2.4两，高于普通教徒户。译员户每户纳银二两，高于普通教徒户，但低于宗教职业者户。
元代中国伊斯兰教出现了专门办教的人员，这是一个非常重要的新现象。它是由蒙古贵族西征后东侵南下而移植过来的：这些答失蛮、哈的、回回大师、迭里威失，等等，几乎完全是随蒙古军队东来中国的。他们在原居地阿拉伯地区或中亚一带本来就具有现在这样的身份。
在蒙元初期，中国伊斯兰教的发展道路有些畸变。同唐宋时期截然不同的是，它存在着被纳入伊斯兰教文化圈的可能性。但在世祖忽必烈推崇佛教后，这种可能性大大地减少了。元代，也只是在元代，中国伊斯兰教才真正地出现了宗教职业者阶层。
元朝社会成员分四个等级，即蒙古人、色目人、汉人和南人。穆斯林是构成色目人的主要成分之一，其地位仅次于蒙古人，属于统治阶层。在政治上，穆斯林是蒙古贵族的依靠对象，当官者颇众，甚至有的位居宰相。在经济上，海内外贸易以及“百工技艺”多为穆斯林所垄断。元朝的中央和地方行省有专门为穆斯林所设之官，纯属因人设事。元朝在中央政府任过宰相之职的穆斯林有17人；在地方政府任过要职的有32人。在司法、荫叙、科举等方面，穆斯林所享受的权利高于汉人和南人。答失蛮阶层曾经享受过免赋、免差、免役的特殊待遇。这种待遇在某些地方一般回回户似乎也享受过。
但是，元朝后期穆斯林的社会地位有所下降。
在元本土，从世祖忽必烈开始直至元亡，一直推崇佛教。而有些汗国，由于受伊斯兰文化的影响，则逐渐伊斯兰化。
阿难答是忽必烈之孙，忙哥剌之子，至元十七年(公元1280年)荫袭“安西王”，驻地在西安。大德十一年(公元1307年)因争夺皇位失败被诛。阿难答幼时受教穆斯林，因而非常喜欢这一宗教。年长后，他改信伊斯兰教。他能默诵《古兰经》，并写得一手漂亮的阿拉伯字。在阿难答的带动和鼓励下，他所统帅的15万大军的多数皈依了伊斯兰教。这是元代伊斯兰教发展史上的重要事件。
在察合台汗国，察合台曾孙八剌在其当政时期也改信了伊斯兰教，时在至元二年(公元1265年)。据说延祐七年(公元1320年)怯别继位时，这个汗国正式走上了伊斯兰之路。
在中国，即使是在元朝，穆斯林都必须学习传统文化。内地情形尤其如此。一方面，中国穆斯林必须接受传统文化的教育。不管其主观愿望如何，是主动的抑或是被动的，都必须这样做。另一方面，对于中国穆斯林来说，科举同样是一条不可替代的生活出路。从穆斯林参加科举，可以看出，传统文化对伊斯兰教产生了多么深刻的影响。
元代有回回国子学，是国家最高学府，隶属于国子监。至元二十六年(公元1289年)始置。延祐元年(公元1314年)另置回回国子监。凡蒙古、色目、汉人官员子弟皆可入学。学习内容为“四书”、“五经”、诗赋、表章、诏诰等。此外还有外语课程，如波斯语、阿拉伯语等。有一种文字，《元史》称为“亦思替非文字”，有人认为亦思替非或即波斯文。学校制度(管理规则，教学方法，等等)“皆依汉人入学之制，日肄习之”(《元史·选举志》)。回回国子学在泰定帝统治时期(公元1324—1328年)学员大增，“公卿大夫子弟与夫凡民之子，入学者众”。回回国子学的毕业生大都做中央各衙门的翻译官，“凡百司庶府所设译史，皆从本学取以充焉”。
元代学校的考试，不管蒙古人色目人，一律是中国传统文化的内容。延祐二年(公元1315年)元仁宗准依集贤学士赵孟頫〔fu斧〕和礼部尚书元明善所议，国子学贡试之法更曰“升斋”，其等第为六斋。所谓“六斋”，就是六个循序渐进的学习阶段，类似现在小学、初中、高中等不同阶段。下两斋为“游艺”、“依仁”，“凡诵书讲说小学属对者隶焉”。中两斋为“据德”、“志道”，“讲说‘四书’课肄诗律者隶焉”。上两斋为“时习”、“日新”，“讲说《易》、《书》、《诗》、《春秋》科习明经义等程文者隶焉”。按季考试，其所习经书课业及格者，可以依次升级。汉人生只有念完“日新”或“时习”斋课程才能充贡举，而蒙古人生和色目人生只须念到“志道”、“据德”斋课程即可充贡举。这种规矩叫“私试”。私试历时数月，汉人学生先后试经疑一道、经义一道、策问表章诏诰一道；蒙古人学生和色目人学生先后试明经一道、策问一道。学校对蒙古人学生、色目人学生和汉人学生的教学内容完全一致，只是要求程度不同。这就是“试蒙古生之法宜从宽，色目生宜稍加密，汉人生则全科场之制”(《元史·选举志》)。
在元朝，一些穆斯林特别上层分子，既是官僚又是儒士。他们精于词章，邃于理学。这不能不说同上述教育制度有很大关系。
在中国封建社会，开科取士为知识文化人的晋身敞开了一扇小小的门扉。莘莘学子均拥挤在“科举”这道狭窄的楼梯上，虽穷毕生精力而于功名之门无缘亦在所不惜。生员们之于科举，犹之铁之于磁，其吸引力难以用语言形容。因为一旦登第，名利双收。书中自有千钟粟、黄金屋和颜如玉。科举就需要学习儒家学说。在这方面，伊斯兰教义学说是无能为力的，俗谓“由儒不由回”。
元朝时期，窝阔台、忽必烈都拟以科举取士，但未能实行。元朝首次开科是在延祐初年(公元1314年)。蒙古、色目人考两场，第一场考经问五道，出自《大学》、《论语》、《孟子》、《中庸》，用朱熹章句集注；第二场考策问一道，以时务出题。汉人、南人考三场，第一场考明经经疑二题，出自《大学》、《论语》、《孟子》、《中庸》，用朱熹章句集注；第二场考诗赋、诏诰、章表；第三场考策问一道，由经、史、时务内出题。如果蒙古、色目人愿意参加汉人、南人科目考试，入选者加一等注授官职。蒙古、色目人为一榜，汉人、南人为一榜，分榜录取。中选举人，蒙古、色目人榜贴于中书省门之左，称“左榜”；汉人、南人榜贴于中书省门之右，称“右榜”。延祐元年，在11行省即河南、陕西、辽阳、四川、甘肃、云南、岭北、征东、江浙、江西、湖广，二宣慰司即河东、山东，四直隶省路即大都、上都、真定、东平，荐举300人，参加会试。各地名额分配如下表：
在入选参加会试的300人中，色目人占1/4。会试录取100人，规定色目人录取25人，亦占1/4。因为色目人总数在全国人口比例中大大低于1/4，所以这一措施是有利于色目人的。从另一个角度说，它也有利于色目人的“汉化”。
在上述背景下，元代出现很多著名的穆斯林学者。
赡思，字得之，其先为大食国人。其祖父附元，内迁于丰州(今呼和浩特市东白塔)。后因任官迁居真定(今河北正定)。其父即“从儒先生问学”。赡思九岁开始学习汉文经籍，稍长投师翰林学士王思廉门下。由是学问大进，后任台宪。赡思“邃于《经》，而《易》学尤深。至于天文、地理、钟律、算数、水利，旁及外国之书，皆究极之”。著述有《帝王心法》、《四书阙疑》、《五经思问》、《奇偶阴阳消息图》、《老庄精诣》、《镇阳风土记》、《续东阳志》、《重订河防通议》、《西国图经》、《西域异人传》、《金哀宗记》、《正大诸臣列传》、《审听要诀》及文集30卷。《元史·儒学传》有其传。
萨都剌，字天锡，他是元朝颇为著名的大诗人，有《雁门集》传世。毛晋在跋文中说：
夭锡以北方之裔，而入中华，日弄柔翰，遂成南国名家。今其诗诸体具备，磊落激昂，不猎前人一字。
《元诗选·萨都剌小传》亦云：
有元之兴，西北子弟尽为横径，涵养极深，异才并出。云石、海涯、马伯庸以绮丽清新之派振起于前，而夭锡继之。清而不佻，丽而不缛，真能于袁、赵、虞、杨之外，别开生面者也。
丁鹤年，元末人，出身穆斯林家庭。丁鹤年本人，据《明史》记载，“晚学浮屠法”，大约晚年皈依佛教。丁鹤年有诗集传世，是元末诗坛巨擘。其古体歌行、五七言律，“皆清丽可喜”，多为时人称道。“其措辞命意多出杜子美，而音节格调则又兼我朝诸阁老之所长。其入人之深，感人之妙，有非它诗人所可及”(戴良《鹤年吟稿·序》)。丁鹤年由一个穆斯林，继而学儒，进而学佛，这是丁鹤年的经历三部曲。而创作和演奏这三部曲的适宜环境，只能在中国。
买闾，字兼善，祖父哈只为官江南，遂家居浙江上虞。父亦卜剌金力主兼善学习儒学。兼善曾出任和靖书院山长。不久，由礼部尚书推荐，敕授嘉兴儒学教授。
中国书院之制创始于唐，讲学之风兴于五代，至宋始盛。宋元间学者多在书院讲学，其热烈气氛远在国学、地方官庠之上。书院有官办与私办两种。书院与国学及府县之学不同，学校的教育目的是为了科举，而书院则不与科举直接挂勾，其目的不在于培养官吏的接班人，而在于考究知识，涵养心性。书院的负责人，元代称为山长，属定职、定员的学官。除讲学外，总领院务。山长由礼部、行省或宣慰司任命。
买闾是由一个穆斯林成长为书院院长和儒学教授的。这一事实本身就是对中国伊斯兰教历史趋向的最好诠释。
元代把清真寺称为“礼拜寺”或“回回寺”。
泰定帝元年(公元1324年)6月在上都及大同路(治所在大同，今山西大同市)各复建一座礼拜寺。关于大同路礼拜寺的位置，现在很难确指了。
杭州真教寺，是延祐年间(公元1314—1320年)回回大师阿老丁所建。
昆明崇正门内外两座礼拜寺，是至元年间赛典赤赡思丁治滇时(公元1274—1279年)所建。
扬州普哈丁墓区内，有元代穆斯林墓碑四个，是从城内移去的。碑文以阿拉伯文为主，间以波斯文；有的也有汉文。
泉州发现大批元代穆斯林墓碑，碑文多为阿拉伯文。系统的整理、辨识、考证等研究工作，早在本世纪50年代已经开始。墓碑现存于泉州海交馆和厦门大学等处。
在海南岛某些滨海地区也发现穆斯林的墓葬群，同时有大量墓碑出土。碑文为阿拉伯文，辨识、考证工作正在进行中。据认为，其年代上限不晚于元代。
至正八年(公元1348年)杨受益撰写的定州清真寺碑文，至正十年(公元1350年)吴鉴撰写的泉州清真寺碑文以及同年郭嘉撰写的广州清真寺碑文，都是中国伊斯兰教历史上最早的汉文碑文，于史于教，均极珍贵。