色目人指的是当时除了蒙古人和汉人之外的外国人。“色目”就是“各色名目”的意思。元人使用“色目人”这个名称，就是因为其种类繁多，至少有三十一种，分别是唐兀、乃蛮、汪古、回回、畏兀儿、康里、钦察、阿速、哈剌鲁、吐蕃、契丹族等等。
其实在忽必烈的祖父成吉思汗时，就任用了契丹族耶律楚才这样杰出的政治家为蒙古帝国大臣。成吉思汗曾以他的喜好把各民族分为四等，一等是蒙古人，二等就是色目人，而汉人和南人只能排三等与四等。成吉思汗是很歧视汉人的，曾规定，杀蒙古人的偿命，杀色目人的罚黄金四十巴里失，而杀死一个汉人，却只要缴一头毛驴的价钱就可以了。
忽必烈身边之所以更多的是汉儒，一切不过是机缘巧合罢了。一直以来，他对完全依赖汉人幕僚还是持非常谨慎的态度，现在，他在对这种依赖产生怀疑之后，便自然而然地认为自己需要招募色目人幕僚来平衡汉人的影响力，只是一时还拿不准依赖色目人幕僚与依赖汉人幕僚的危险性究竟孰高孰低。
尽管如此，做事历来果断风行的忽必烈还是马上就采取了一系列有力措施，来防止依赖汉人幕僚的危险性于未然。他一方面废除了汉人诸侯的世袭制度，削弱汉人世袭家族的各种特权，同时在地方上实行军民分治，这样既可加强中央集权，又可严密对汉人进行防范；另一方面，忽必烈开始在各级政权中大量引进色目人分掌事权，使色蒙古目人官员充斥在元朝各级政府机构中，在蒙人的主管下与汉人官僚相互牵制。譬如一般的地方政府：规定蒙古人任达鲁花赤（意为“镇守者”），汉人任总管，色目人任同知。