匈奴是我国古老的民族之一。《史记》卷110《匈奴列传》谓“匈奴，其先祖夏后氏之苗裔”。《索隐》引乐彦《括地谱》云：“夏桀无道，汤放之鸣条，三年而死，其子獯粥妻桀之众妾，避居北野，随畜移徙，中国谓之匈奴。其言夏后苗裔，或当然也”。以上匈奴系夏后氏苗裔的说法，学者多持怀疑态度。然《史记》中一些远古记事的真实性已多为考古材料所证实。则匈奴出自夏后氏之说当亦有所据。匈奴妻后母之俗与《括地谱》所言“夏桀之子獯粥妻父之众妾”正复相同。在中国少数民族中，匈奴使用铁制工具较早，显系受汉人影响。故至少在匈奴贵族与夏后氏之间是有一定血缘关系的。据史书记述，自周以降，匈奴即甚强盛。战国时，燕、赵、秦三国邻近匈奴，时遭匈奴抢掠，因之三国皆修筑长城，以为屏障。秦始皇时，先将匈奴逐出河套，继之修缀长城，采取以守为主的长期防御方略。刘邦灭掉项羽后，移兵反击匈奴，被冒顿单于围困于白登，危而后解。汉初各帝皆未能排除匈奴侵扰，唯有权借和亲，嫁女纳币，以求粗安。武帝凭数世之蓄积，靠举国之人力、财力，对匈奴大张挞伐。匈奴被迫远徙，汉之兵马财货损耗亦至巨，致使“每内虚耗”、“官民俱匮”。往后匈奴虽不足为汉大害，然侵掠边境之事，仍不时发生。至汉宣帝神爵二年（前60年），匈奴贵族因争夺单于位，发生内讧。神爵四年（前58年），匈奴左地贵族共立稽侯狦为呼韩邪单于。宣帝五凤元年（前57年），釀成“五单于争立”的局面。五凤四年（前54年），呼韩邪单于与其兄郅支单于战斗失败，单于庭遂为郅支占有，于是呼韩邪决计降汉。宣帝甘露二年（前52年），呼韩邪款五原塞。次年正月，朝见天子，汉隆重接待，居之北边，赈以谷食。郅支单于亦遣子入侍，图谋离间汉与呼韩邪的关系，未能得逞，乃西行经略右地，初尚得手。但由于郅支骄横，未能得到西域诸国拥戴，落得孤立困厄，在赴康居途中，“人众中寒道死，余才三千人”。汉元帝建昭三年（前36年），郅支被汉西域都护甘延寿、副校尉陈汤设计谋杀。早在汉元帝永光元年（前43年），呼韩邪已归塞北单于庭。呼韩邪闻郅支死，且喜且惧，喜者劲敌已除，惧者畏汉袭之。乃于汉元帝竟宁元年（前33年）再次朝汉，并求婚以自亲。汉元帝以后宫良家子王嫱（字昭君）赐之。自匈奴内乱，呼韩邪首次朝汉，至此已三十年，汉匈关系基本良好。昭君出塞之后，汉、匈更加亲善。王莽时，因莽一再轻侮匈奴单于，致使双方关系恶化，边隙又起。东汉之初，匈奴经过六十余年较为安定的生活，种人繁殖，势力增强。中土多年战乱，元气损伤，故刘秀对匈奴采取息事宁人措施，除赂遗匈奴财帛外，还将幽、并二州人民往常山（在代郡）、居庸关（在上谷郡）东南迁移，另外，增添边地屯兵，修筑亭候，设置烽燧。匈奴贵族仍不时侵犯，上党、扶风、天水、上谷、中山等郡并受其害。刘秀建武二十四年（48年），匈奴上层贵族争夺单于位的斗争又趋激烈，并正式分裂为南北二部。建武二十六年（50年），汉为南单于比立庭于去五原西部塞八十里处。继又听南单于入居云中。后南单于与北单于交战不利，汉又令南单于徙居西河美稷，并设护匈奴中郎将以佑护之。南单于亦自置诸部王，助汉戍守北地、朔方、五原、云中、定襄、雁门、代郡，皆领部众，为汉郡县侦探耳目。从此，南匈奴人众过着比较安定的生活，人口日益繁衍。至汉和帝永元二年（90年），南匈奴党众最盛，领户三万四千，口二十三万七千，胜兵五万。北匈奴则连年内乱，众叛亲离，南匈奴攻其前，丁零寇其后，鲜卑击其左，西域叛于右。加以天灾，人众向南匈奴及汉朝投降者前后相属，于是南单于一再给汉上言，宜及北虏分争，出兵讨之。汉两次遣军大举远征，出塞各三、五千里，较之前汉武帝时，费力少而战功多。北匈奴主力从此退出漠北，其故地尚有十余万户，皆为自北南下的鲜卑人领属。从而促成了鲜卑日后的强盛。
最令人遗憾的是，此时汉朝已经开始走下坡路。政治昏浊，外戚和宦官迭相揽权，国事日非，下民困苦。不仅鲜卑和羌人对汉朝的战争频繁发生，就是南匈奴也“叛服不一”。
南单于与其他割据一方的军阀一样，积极参与了汉魏之际的各种战争。
汉灵帝中平元年（184年），发生的以张角为首的黄巾起义虽然不久便被镇压下去。但其他汉胡人民的起义仍连续发生，其中规模较大的有凉州边章、韩遂的汉羌军、今河北西部山谷区张燕领导的黑山军，都发展到十余万乃至数十万之众。汉朝先派司空张温发幽州乌桓突骑三千讨凉州。这支队伍刚行到蓟中，乌桓因军中饷款亏欠，多叛归。故中山太守张纯怨张温不令自己带领这批乌桓部队，乃与同郡故泰山太守张举及乌桓大人丘力居等连盟反叛，劫略蓟中，杀护乌桓校尉及右北平太守，众至十余万。灵帝中平五年（188年），汉朝调发南匈奴兵，配合幽州牧刘虞讨伐张纯。单于羌渠遣其子左贤王于扶罗将骑前往，匈奴国人恐发兵无已，于是匈奴右部■落与先已反汉的屠各胡合，共十余万人，攻杀羌渠。于扶罗在外闻知，自立为单于。杀羌渠的国人，恐于扶罗为父报仇，乃另立须卜骨都侯为单于。于扶罗到洛阳讼诉和求助。适逢灵帝病死（189年），董卓带兵入京，天下大乱。于扶罗乃与白波军合兵攻打郡县。时各地多聚众筑壁自保，于扶罗钞掠无所得，部众受到挫伤，只好在河东郡平阳（今山西临汾市西南）停住。须卜骨都侯为单于仅一年而死，南庭不再立单于，只以老王代行国事。
献帝初平元年（190年）初，关东州郡起兵讨伐董卓。于扶罗与驻在上党的张杨一起投靠了袁绍，二人屯兵漳水。次年（191年），于扶罗拟叛离袁绍，张杨不从，于扶罗乃劫持张杨出走，在邺城南被袁绍将麴义击败。既而于扶罗袭杀驻在黎阳的度辽将军耿祉，兵势复振。董卓以朝命封张杨为河内太守。初平四年（193年），袁术从南阳转移到陈留，屯军封丘（今河南封丘西南），于扶罗又依附袁术。袁术被曹操打败后，于扶罗返归平阳。兴平二年（195年），于扶罗死，弟呼厨泉继立为单于。十二月，董承、杨奉等奉献帝东归，李傕、郭汜等追赶乘舆。董承、杨奉屡吃败仗，乃招故白波帅李乐、韩暹、胡才及南匈奴右贤王去卑，共同卫护献帝。建安元年（196年）七月，献帝始到洛阳，去卑又护送献帝到许，然后返回平阳。
建安七年（202年），袁绍甥并州刺史高干、河东太守郭援及南匈奴单于呼厨泉一齐背叛曹操。操使司隶校尉钟繇围南单于呼厨泉于平阳，呼厨泉降操。
建安十年（205年），操北征乌桓，高干再次叛操，守壶关口。次年，被操攻克，高干自入匈奴求救，呼厨泉不受，操遂定并州。
并州既是胡汉杂居之地，又俯邻邺、洛二都，所以曹操对治理并州的人选极为注意。如河东太守杜畿、并州刺史梁习都是操精心选拔出来的州郡要员。《三国志》卷15《梁习传》载：
并土新附，习以别部司马领并州刺史，时承高干荒乱之余，胡狄在界，张雄跋扈，吏民亡叛，入其部落，兵家拥众，作为寇害，更相扇动，往往棊跱。习到官，诱谕招纳，皆礼召其豪右，稍稍荐举，使诣幕府。豪右已尽，乃次发诸丁强