此時的漢人和異族之間，自然不能不發生階級，史稱北齊神武帝，善於調和漢人和鮮卑。他對漢人則說：“鮮卑人是汝作客（猶今言僱工），得汝一斛粟，一匹絹，爲汝擊賊，令汝安寧，汝何爲陵之？”對鮮卑人則說：“漢人是汝奴。夫爲汝耕，婦爲汝織，輸汝粟帛，令汝溫飽，汝何爲疾之？”就儼然一爲農奴，一爲戰士了。
但此時期的異族，和自女真以後的異族，有一個大異點。自遼以前（契丹爲鮮卑宇文氏別部，實仍系五胡的分支），外夷率以漢族爲高貴而攀援之，並極仰慕其文化，不恤犧牲其民族性，而自願同化於漢族。至金以後則不然。這隻要看五胡除羯以外，無不冒託神明之胄（如拓跋氏自稱黃帝之後，宇文氏自稱炎帝之後是），金以後則無此事；北魏孝文帝，自願消滅鮮卑語，獎勵鮮卑人與漢人通婚，自然是一個極端的例子，然除此以外，亦未有拒絕漢族文化的。
金世宗卻極力保存女真舊風及其語言文字。這大約由於自遼以前的異族，附塞較久，濡染漢人文化較深，金、元、清則正相反之故。渤海與金、清同族，而極仰慕漢人的文化，似由其先本與契丹雜居營州，有以致之，即其一證。
對於漢族的壓制剝削，亦是從金朝以後，才深刻起來的。五胡雖佔據中原，只是一部分政權入於其手。其人民久與漢族雜居，並未聞至此時，在社會上，享有何等特別的權利（至少在法律上大致如此）。
契丹是和漢人不雜居的。其國家的組織，分爲部族和州縣兩部分，彼此各不相干（設官分南北面，北面以治部族，南面以治州縣）。財賦之官，雖然多在南面，這是因漢族的經濟，較其部族爲發達之故，還不能算有意剝削漢人。到金朝，則把猛安謀克戶遷入中原。用集團之制，與漢族雜居，以便鎮壓。
因此故，其所耕之地，不得不連成片段。於是或藉口官地，強奪漢人的土地（如據樑王莊，太子務等名目，硬說其地是官地之類），或口稱與漢人互換，而實系強奪。使多數人民流離失所。
初遷入時，業已如此。元兵佔據河北後，盡將軍戶（即猛安謀克戶）遷於河南，又是這麼一次。遂至和漢人結成骨仇血怨，釀成滅亡以後大屠戮的慘禍了（見《廿二史札記·金末種人被害之慘》條）。
元朝則更爲野蠻。太宗時，其將別迭，要把漢人殺盡，空其地爲牧場，賴耶律楚材力爭始止（見《元史·耶律楚材傳》）。元朝分人爲蒙古、色目（猶言諸色人等，包括蒙古及漢族以外的人。其種姓詳見《輟耕錄》）、漢人（滅金所得的中國人）、南人（滅宋所得的中國人）四種，一切權利，都不平等（如各官署的長官，必用蒙古人。又如學校及科舉，漢人南人的考試較難，而出身反劣）。漢人入奴籍的甚多（見《廿二史札記·元初諸將多掠人爲私戶》條）。
明代奴僕之數驟增（見《日知錄·奴僕》條。怕和此很有關係），清朝初入關時，亦圈地以給旗民。其官缺，則滿、漢平分。又有蒙古、漢軍、包衣（滿洲人的奴僕）的專缺。刑法，則宗室、覺羅（顯祖之後稱宗室，自此以外稱覺羅。宗室俗稱黃帶子，覺羅俗稱紅帶子，因其常系紅黃色的帶子爲飾。凡漢人殺傷紅黃帶子者，罪加一等。惟在茶坊酒肆中則否，以其自褻身分也）及旗人，審訊的機關都不同（宗室、覺羅，由宗人府審訊。與人民訟者，會同戶、刑部。包衣由內務府慎刑司審訊。與人民訟者，會同地方官。旗人由將軍、都統、副都統審訊），且都有換刑（宗室以罰養贍銀代笞、杖，以板責、圈禁代徒、流、充軍。雍正十二年，並推及覺羅。其死罪則多賜自盡。旗人以鞭責代笞、杖，枷號代徒、流、充軍。死刑以斬立決爲新監候，斬監候爲絞），都是顯然的階級制度。
民族愈開化，則其自覺心愈顯著，其鬥爭即愈尖銳。處於現在生存競爭的世界，一失足成千古恨，再回頭是百年身，誠不可以不凜然了（近來有一派議論，以爲滿、蒙等族，現在既已與漢族合爲一個國族了，從前互相爭鬥的事，就不該再提及，怕的是挑起惡感。甚至有人以爲用漢族二字，是不甚妥當的。說這是外國人分化我們的手段，我們不該盲從。殊不知歷史是歷史，現局是現局。不論何國，何族，在已往，誰沒有經過鬥爭來？現在誰還在這裡算陳帳？若慮挑起惡感，而於已往之事，多所顧忌而不敢談，則全部歷史，都只好拉雜摧燒之了。漢族兩字不宜用，試問在清朝時代的滿漢兩字，民國初年的漢、滿、蒙、回、藏五族共和等語，當改作何字？歷史是一種學術，凡學術都貴真實。只要忠實從事，他自然會告訴你所以然的道理，指示你當遵循的途徑。現在當和親的道理，正可從從前的曾經鬥爭裡看出來，正不必私智穿鑿，多所顧慮）。
總而言之：凡階級的所以形成，其根源只有兩種：一種是武力的，一種是經濟的。至於種族之間，則其矛盾，倒是較淺的。
近代的人，還有一種繆見，以爲種族是一個很大的界限，同種間=的鬥爭，只是一時的現象，事過之後，關係總要比較親切些。殊不知爲人類和親的障礙的，乃是民族而非種族。種族的同異在體質上，民族的同異在文化上。體質上的同異，有形狀可見，文化上的同異，無跡象可求。在尋常人想起來，總以爲種族的同異，更難泯滅，這就是流俗之見，需要學術矯正之處。
從古以來，和我們體質相異的人，如西域深目高鼻之民，南方拳發黑身之族，爲什麼彼我之間，沒有造成嚴重的階級呢？總而言之：社會的組織，未能盡善，則集團與集團之間，利害不能無衝突。“利惟近者爲可爭，害惟近者爲尤切。”這是事實。至於體質異而利害無衝突，倒不會有什麼劇烈的鬥爭的。這是古今中外的歷史，都有很明白的證據的。所以把種族看做嚴重的問題，只是一個俗見。
近代有一種賤民。其起源，或因民族的異同，或因政治上的措置，或則社會上積習相沿，驟難改易。遂至造成一種特別等級。這在清朝時，法律上都曾予以解放。如雍正元年，于山、陝的樂戶，紹興的惰民；五年於徽州的伴檔，寧國的世僕；八年於常熟、昭文的丐戶；都令其解放同於平民。乾隆三十六年，又命廣東的蜑戶，浙江的九姓漁戶，及各省有似此者，均查照雍正元年成案辦理。這自然是一件好事情。但社會上的歧視，往往非政治之力所能轉移。所以此等階層，現在仍未能完全消滅。這是有待於視壓迫爲恥辱的人，繼續努力的了。
階級制度，在古昔是多少爲法律所維持的。及文化進步乃覺得人爲的不平等不合於理，此等法律，遂逐漸取消。然社會上的區別，則不能驟泯。社會地位的區別，顯而易見的是生活的不同。有形的如宮室衣服等等，無形的如語言舉動等等。其間的界限，爲社會所公認。彼此交際之間，上層階級，會自視爲優越，而對方亦承認其優越；下層階級，會被認爲低微，而其人亦自視爲低微。此等階級的區別，全由習慣相沿。
而人之養成其某階級的氣質，則由於教育（廣義的）；維持其某階級的地位，則由於職業。舊時社會所視爲最高階級的，乃讀書做官的人，即所謂士。此種人，其物質的享受，亦無以逾於農工商。但所得的榮譽要多些。所以農工商還多希望改而爲士，而士亦不肯輕棄其地位（舊時所謂書香之家，雖甚貧窮，不肯輕易改業，即由於此）。這還是封建殘餘的勢力。
此外則惟視其財力的厚薄，以判其地位的高低。所謂貧富，應以維持其所處的階級的生活爲標準。有餘的謂之富，僅足的謂之中人，不足的謂之貧。
此自非指一時的狀況言，而當看其地位是否穩固。所謂穩固，包含三條件：即（一）財產收入，較勞力收入爲穩固。（二）有保障的職業，較無保障的爲穩固。（三）獨立經營的職業，較待人僱用的爲穩固。
階級的升降，全然視其財力。財力足以上升，即可升入上層階級。財力不能維持，即將落入下層階級。宮室衣服等，固然如此，即教育職業亦然。如農工商要改做士，則必須有力量能從師讀書；又必須有力量能與士大夫交際，久之，其士大夫的氣質，乃得養成。此係舉其一端，其他可以類推。總之，除特別幸運的降臨，凡社會上平流而進的，均必以經濟上的地位爲其基礎。
下層社會中人，總想升入上層的；上層社會中人，則想保持其地位。舊時的教育，如所謂奮勉以求上進，如所謂努力勿墜其家聲等等，無論其用意如何，其內容總不外乎此。
至於（一）剷除階級；（二）組織同階級中人，以與異階級相鬥爭；則昔時無此思想。此因（一）階級間之相去，並不甚遠；（二）而升降也還容易之故。
新式產業興起以後，情形就與從前不同。從前所謂富、中人、貧，相去實不甚遠的，今則相去甚遠（所謂中產階級，當分新舊兩種：舊的，如舊式的小企業等，勢將逐漸爲大企業所吞併。新的，如技術、管理人員等，則皆依附大資本家以自存。其生活形式，雖與上層階級爲儕，其經濟地位的危險，實與勞工無異。既無上升之望，則終不免於墜落。所以所謂中間者，實不能成爲階級。從下級升至上級，亦非徒恃才能，所能有濟。昔時的小富，個人的能力及際遇，足以致之，今之大富豪則不然。現在文明之國，所謂實業領袖，多系富豪階級中人，由別階級升入的很少）。於是雖無世襲之名，而有世襲之實。
上級的地位，既不易變動，下級的惡劣境遇，自然不易脫離。環境逼迫著人改變思想，階級鬥爭之說，就要風靡一時了。剷除階級，自是美事。但盲動則不免危險；且亦非專用激烈手段，所能有濟；所以舉措不可不極審慎。