这年夏天，汉武帝决定乘势全部扫除匈奴在河西地区的势力，打通进入西域之路，于是发动了第二次河西战役。
这次战役，以霍去病、公孙敖率领的几万骑兵为主力，从北地郡（在今甘肃环县）出发，另派李广、张骞率一万多人从右北平出发，攻击匈奴左贤王，策应西征的主力军。霍去病与公孙敖出塞后，分兵前进，公孙敖由于中途迷失方向，而未能参加战斗。霍去病与公孙敖联系不上，只好孤军深入，越过居延海（今内蒙古额济纳旗北），穿过小月氏部落，抵达祁连山。匈奴被他神妙莫测的战术搞得晕头转向，祁连山麓一战，被打得大败。这次战役，总计接受匈奴单桓王、酋涂王及相国、都尉等2500人投降，俘虏了王母、单于阏氏、王子。相国、将军、当户、都尉等120多人，歼灭匈奴兵30200人。
汉武帝加封霍去病食邑5400户。从此，霍去病的声望日益显赫，地位日益尊贵，几乎与舅舅卫青相当了。
两次河西战役之后，汉朝完全控制了河西地区，这对匈奴是一个很大的打击。匈奴人非常惋惜，他们悲伤地唱道：“亡我祁连山，使我六畜不蕃息；失我焉支山，使我妇女无颜色。”
匈奴伊稚斜单于对于浑邪王、体屠王的屡次战败，非常恼火，派使者征召他们，准备治罪。浑邪王新失爱子，本来就够心烦的了，又闻单于将要加罪，于是与休屠王商量，决定向汉朝投降，并派使者来与汉朝接洽归降事宜。当时负责藩属事务的大行李息，正在黄河边上筑城，见到浑邪王派来的使者，马上派人向中央报告。
汉武帝得到这一消息，很高兴，认为这样可以分化匈奴，减弱匈奴的力量，但是又担心其中有诈，于是派霍去病带领一万骑兵。前往河西，见机行事。
霍去病还没有到达河西，情况就发生了变化。体屠王听信部下的谗言，不想投降了。浑邪王骑虎难下，痛恨休屠王的背信弃义，于是一不做二不休，他率兵冲入体屠王的营帐，杀死了休屠王，收编了休屠王的部队，然后列队迎接汉军的到来。
霍去病渡过黄河，与浑邪王遥遥相望。浑邪王的部下很多。本来意志就不坚定，现在看到汉军阵容严整，心存疑惧，纷纷逃走。霍去病望见浑邪王阵营人群骚动，当机立断，亲率几名精骑飞马驰人浑邪王营帐，与浑邪王谈判，下令将私自逃跑的匈奴将士8000人全部杀死。这样才把匈奴军队稳住了。然后，霍去病派轻车快马先把浑邪王送往长安拜见汉武帝。接着，他把四万多匈奴降兵编队列阵，带回长安。
在河西战役期间，汉武帝特地从京城送来一坛美酒，霍去病没有独自享用，而是将酒倒入泉水中，让全军将士饮用，后来，此泉就称为酒泉，当地也就以泉命名。
汉武帝隆重地接见了浑邪王，封他为漯阴侯，食邑一万户。匈奴小王呼毒尼等四人也被封侯爵。汉武帝把这五侯连同他们的部众分别安置在陇西、北地、上郡、朔方、云中等地，保持他们原来的生活和风俗习惯，号称“五属国”。浑邪王旧地设置武威、酒泉两郡，连同后来设置的张掖、敦煌二郡，被称为“河西四郡”。霍去病受降有功，加封食邑1700户。
从此，匈奴的军事力量大大削弱，不得不退到遥远的大沙漠以北地区。汉朝西部的威胁彻底解除，通往西域的道路完全畅通了。
