公元280年，西晉滅吳完成統一。但之后不久就禍起蕭墻，發生“八王之亂”。而對內遷的匈奴，鮮卑，羯，氐，羌等5個少數民族所實施的苛政，又加劇社會矛盾，引發了大規模的農民起義。在農民起義的浪潮中，316年10月，西晉最后滅亡。繼而北方各族統治者先后建立起了將近20個國家，總稱“十六國”。
為躲避戰亂，北方民眾紛紛南遷。317年，西晉皇族司馬睿在建康——也就是現在的江蘇南京——建立政權，史稱“東晉”。東晉偏安江南，無意北伐。420年，劉裕篡晉自立，建立宋朝。此后160多年間，南方經歷了宋，齊，梁，陳四個朝代，總稱“南朝”。北方，則經歷著空前的民族大融合。439年，鮮卑族建立的北魏統一黃河流域。北魏后來分裂為東，西兩部分。不久，東魏為北齊所代替，西魏為北周所代替。這便是“北朝”。北朝和南朝并存，合稱“南北朝”。
577年，北周滅北齊。581年，楊堅篡周建隋。589年，隋滅南陳統一全國。