（赵破奴）将二万骑击匈奴左贤王，左贤王与战，兵八万骑围破奴，破奴生为虏所得，遂没其军。
——《史记·卫将军骠骑列传》
自元狩四年（前119年）“漠北之战”后，匈奴持续向北迁徙，此后几乎没有再对汉朝进行侵扰，安心休养生息。元鼎三年（前114年），伊稚斜单于去世，其子乌维单于即位，乌维单于虽然野心极大，但受限于自身实力，也只能坚持父亲的国策，继续远避漠北恢复实力。
元封元年（前111年）冬十月，汉武帝颁布诏书，“南越、东越都已收到应有惩罚，而西蛮、北夷尚未镇服”，因此决定巡视边疆，为此设置十二路将军，由汉武帝亲自统率。
汉武帝率兵自云阳北上后，经上郡、西河、五原，出长城后继续向北，登上单于台，至朔方郡的黄河边，勒兵十八万骑、旌旗径千余里，以彰显武力、威慑匈奴。
由于匈奴早已远退北方，汉武帝此次率领大军北上，根本没有见到匈奴人的踪影。
为了寻敌决战，汉武帝以郭吉为使者，命其前往匈奴告知乌维单于，“南越国王人头已经悬挂在了大汉皇宫的北门阕上。如今单于若是能战，天子已经亲自率军在边境等候；若是不能战，就应该归降大汉，为什么偏要逃到大漠以北，寒冷、困苦而又缺乏水草的地方呢？实在没什么意思！”
郭吉话音刚落，乌维单于大怒，下令将引荐郭吉的官员斩首，同时将郭吉扣留，迁徙到北海之畔。不过，由于此时匈奴元气大伤，根本不敢与汉朝正面交锋，乌维单于虽然恼怒，却也只能忍下这口气。
汉武帝得知匈奴扣留郭吉，而又不愿出兵后，明白匈奴已经无力与汉朝再战，这才解散军队，起驾回朝。
汉朝退军后，乌维单于却仍旧感觉到一丝丝惧意，为了缓解汉朝带来的巨大军事压力，在此后多次派遣使者前往汉朝，想要重新与汉朝和亲修好，态度极为恭敬。
汉武帝为了窥探匈奴虚实，便也派遣王乌出使匈奴。王乌出身北地郡，因距离边境较近，对匈奴习俗极为熟悉，他在抵达匈奴后，便遵从匈奴的风俗，放下了作为使者象征的旄节，独自进入匈奴单于的毡帐之中，以匈奴礼节拜见乌维单于。
乌维单于见王乌如此懂礼，十分热情的接待了王乌，并对王乌表示，自己乃是真心想要与汉朝重修于好，为此不仅当面许下了许多承诺，甚至表示要派匈奴太子到汉朝充作人质。
王乌回奏汉武帝，汉武帝十分高兴，然而左等右等，却始终不见匈奴太子的到来。实际上，乌维单于野心极大，他之所以对汉朝态度恭谨，表现出一副积极修好的模样，不过是为了韬光养晦，为匈奴恢复实力争取时间罢了，又岂会真的将太子质于汉朝。
汉武帝见乌维单于食言，又派杨信为使者前往匈奴，杨信此次出使，本就带有一定问罪性质，自然不会再像王乌那样遵从匈奴风俗，与之对应的，乌维单于对于杨信的态度自然也就比较冷淡。
杨信质问乌维单于，为何食言不送太子入质，乌维单于回答，“按照以前的盟约，汉朝应将藩王的女儿嫁到匈奴来，再供给一定数量的缯絮、钱粮，以这种方式进行和亲，匈奴便也不再侵犯汉朝边境。如今却要违反以往的盟约，反让我的太子去做人质，对我又有什么好处？”
由于当时汉朝忙于四处用兵，这种时刻汉武帝也不愿与匈奴闹僵，杨信回奏之后，汉武帝见乌维单于态度如此强硬，只好又改派王乌前往匈奴，重新缓解双方的关系。
王乌前往匈奴后，乌维单于态度再度转变，又以好话献媚，为了讨取更多财物，甚至欺骗王乌道，“我想亲自前往汉朝面见天子，相互结为兄弟。”
王乌回奏汉武帝后，汉武帝信以为真，命人在长安为乌维单于修建宫邸。然而，与前次一样，汉武帝翘首以盼，却迟迟不见乌维单于的身影。
元封四年（公元前107年），乌维单于派遣身份尊贵的使者前往汉朝，汉武帝质问乌维单于屡次失信的原因，匈奴使者表示，“除非汉朝也派遣地位尊贵之人作为使者前来，否则我们是不会说实话的。”
不久后，匈奴使者身患重病，汉武帝虽然派人细心诊治，不惜使用各种名贵药材，生怕因为匈奴使者死在汉朝导致双方决裂，但匈奴使者最终还是不幸死去了。
汉武帝无奈，只好派路充国佩戴两千石官员的印绶，出使匈奴的同时，将匈奴使者的灵柩送回，并一同送去价值数千金的丧葬费用，以表达歉意。
路充国抵达匈奴后，负责接待的人向乌维单于介绍路充国，“这是汉朝地位尊贵之人”，虽然汉朝表现出了极大的诚意，但乌维单于还是以汉朝杀死匈奴使者为由，将路充国扣留于匈奴，并开始派出骑兵屡次侵犯汉朝边界。
彼时，受迫于东部乌桓和鲜卑的崛起，匈奴越发向西北迁移，其中左贤王部已经向西迁徙到了云中郡以北，右贤王部则位于酒泉和敦煌郡以北，控制区域已经大幅度缩水。
于是，为确保边境安全，汉武帝任命郭昌为拔胡将军，与征讨楼兰、车师凯旋归国的浞野侯赵破奴一起，屯兵于朔方以东地区防备匈奴。
彼时，匈奴虽然连番侵犯汉朝边界，但因自身实力尚未恢复，也不敢贸然与汉朝开战；汉朝方面，由于汉武帝连年向东南、西南、东北和西北用兵，一时也无法顾及匈奴方面，只能屯兵边境以防御为主。
此后数年间，汉朝与匈奴虽然在边境地区时有摩擦，但双方总体都比较克制，基本维持着和平的态势。在此期间，汉朝与匈奴既相互派遣使者，又相互扣押对方使者，先后各有十余批使者被对方扣押。
元封六年（前105年），在位十年的乌维单于去世，其子乌师庐继承单于之位，因其年纪尚小，故被称为“乌师庐儿单于”或“儿单于”。
消息传至汉朝，汉武帝认为这正是搅乱匈奴的好机会，为此派遣了两位使者，其中一位前往吊唁乌维单于，另一位则前往出使匈奴右贤王，意图离间乌师庐儿单于与右贤王之间的关系，促使匈奴内部混乱分裂，以达到进一步削弱匈奴的目的。
乌师庐或许年少，没什么政治经验，但右贤王却看出了汉朝的险恶用心，因此将汉朝使者全部送到了乌师庐儿单于处，并向乌师庐儿单于说明了汉朝的野心。乌师庐搞清楚原委后大为恼怒，将汉朝使者全部扣留。
汉朝虽然没有实现搅乱匈奴的目的，但乌师庐儿单于自己，却差点让匈奴陷入万劫不复之地。
相较于自冒顿单于以来的数位单于，乌师庐由于太过年少，显然不是一位合格的统治者。由于性格十分凶厉，喜好杀伐，动辄便处死看不顺眼的大臣侍者，结果即位仅仅数月后，便搅的匈奴内部人心不安，局势混乱。
太初元年（前104年）冬，匈奴地区遭受暴雪袭击，牲畜多半因饥饿寒冷而死，然而乌师庐儿单于非但不体恤匈奴百姓，反而依旧我行我素，命人将建议赈灾的左大都尉暴揍了一顿。
左大都尉麾下众人愤愤不平，建议杀死乌师庐儿单于，南下归附汉朝。心中愤懑的左大都尉，于是派人偷偷前往汉朝，上奏汉武帝说，“我实在忍受不了单于的凶残暴戾，因此想杀死单于归降汉朝，但由于汉朝距离太过遥远，如果汉朝能够派兵来迎接我，我就立刻杀死单于归附。”
汉武帝闻讯大喜，特地命令因杅将军公孙敖远赴塞外修筑受降城（今内蒙古乌特拉中旗东部新忽热苏木西北），准备随时出兵支援匈奴左大都尉。
太初二年（前103年）春，汉武帝认为受降城距离匈奴所在还是距离太远，即使匈奴内部真的发生变故，汉朝边军也很难第一时间做出反应。于是，汉武帝又命浞野侯赵破奴率两万骑兵出朔方郡西北两千里，前往浚稽山驻扎，以备随时支援左大都尉，同时派人与左大都尉取得联系。
左大都尉得知汉军抵达后，立即组织人马发动刺杀行动，却不想计划泄露，乌师庐儿单于不仅挫败了刺杀计划，同时也得知了汉朝大军深入匈奴腹地的情报。
遭遇刺杀的乌师庐儿单于大怒，处死叛乱的左大都尉后，又派左贤王率领八万骑兵攻打驻扎于浚稽山的汉军。赵破奴得知匈奴大军杀来，也顾不上猜测匈奴方面到底发生了什么情况，连忙率领军队撤退。
匈奴左贤王为了彻底消灭赵破奴所部，派出一支部队死死咬住汉军，迫使汉军放缓撤退速度，同时派出两路大军沿汉军两翼南下，切断汉军的退路。
赵破奴虽然看出了匈奴人的意图，奈何自身兵力太少，即使他率领汉军奋力拼杀，沿途斩杀匈奴骑兵数千，却始终无法摆脱后方的追兵，结果在率军南撤至受降城以北四百里时，还是被匈奴军队切断了退路，陷入了匈奴八万骑兵的重重包围。
为了突破重围，赵破奴夜晚亲自带人外出找水并寻找匈奴包围圈的薄弱处，但却不幸与匈奴军队遭遇，一番交战后惨遭活捉。得知汉军主将被俘，匈奴立即对汉军发动进攻，由于没有主将指挥，混乱之中的汉军遭受惨败，几乎全军覆没。
汉军护军郭纵与剩余校尉商议一番，认为如今主将失陷敌手，自己又遭遇惨败，即便能够顺利脱困返回汉朝，也必然会遭到皇帝惩处被杀，与其如此，不如投降匈奴。于是，郭纵找到匈奴降兵头领维王，希望他能帮忙联系匈奴军队。
左贤王闻讯大喜，当即同意接受汉军的投降，最终赵破奴连同其所率的两万汉军全部失陷于匈奴。
汉军投降后，匈奴军队又趁机进攻受降城，但却没能攻破，只能在边塞劫掠一番后退军。次年，乌师庐儿单于又亲自率军攻打受降城，但未到受降城便病逝了。
乌师庐儿单于死后，匈奴贵族拥立他的叔父、乌维单于的弟弟呴犁湖为单于。
呴犁湖单于即位后，他选择了继续对汉朝发动袭击，以转移匈奴内部的矛盾，从而方便自己迅速整合内部，巩固自身权力。
此前，汉武帝为了加强河西地区的防御，彻底切断匈奴与河西、西域地区的联系，将河西一带的防御向北推移，派光禄勋徐自为从五原郡出塞数百里，沿途修建城墙、要塞、亭燧等，一直向西北修筑到庐朐（今中蒙边境阿尔泰山南麓一带），构筑防备匈奴的防御工事。又命游击将军韩说、长平侯卫伉屯兵于庐朐附近，命强弩都尉路博德在居延泽筑城镇守，从而以河西北部的居延塞和五原郡北部的光禄塞为支点，由东向西沿河西地区北部构筑了一道防御工事，极大增强了河西地区对于匈奴防御。
为了破坏汉朝防御工事的构筑，呴犁湖单于率兵于太初三年（前102年）秋大举南下，攻入定襄、云中二郡，杀掠数千人，又打败了汉朝数名两千石官员后方才北撤，并沿途破坏徐自为修筑的城墙、要塞、亭遂等。
不久，呴犁湖单于又派右贤王南下入侵酒泉、张掖两郡，杀掠数千人，当时恰好在附近的军正任文得知消息，立即率兵前去救援，这才击败了右贤王，兵败的右贤王随即丢弃了掠夺而来的人口财产后慌忙北撤。
不过，呴犁湖在位仅一年便又去世了，匈奴贵族又拥立呴犁湖的弟弟且鞮侯为单于。
由于频繁更换国君，匈奴内部十分混乱，且鞮侯单于巩固地位方式与呴犁湖单于截然不同，因为担心汉朝趁着匈奴权力交接前来进攻，他在即位后便尽数归还了此前拘留的汉朝使者，并遣使向汉朝进贡，积极与汉朝修好。汉朝方面因为进攻大宛失败，决定第二次对大宛用兵，一时间也顾不上匈奴，便接受了且鞮侯单于伸出的橄榄枝，双方关系重新缓和。