匈奴主力虽远逃漠北，但仍未放弃对汉朝边境的掠夺。公元前120年秋，匈奴骑兵万余人又突入定襄、右北平地区，杀掠汉朝边民一千多人。汉武帝决定远征漠北，彻底消灭匈奴军队。
公元前119年，汉武帝调集10万骑兵，随军战马14万匹，步兵辎重队几十万人，由卫青和霍去病各领五万骑兵，分东西两路向漠北进军。卫青从定襄出塞，北进1000多里，与匈奴伊稚斜单于所率主力相遇，经过激战，大败匈奴单于，斩获19000多人，一直追到真颜山赵信城才胜利班师。
汉武帝原来的计划是由霍去病专力对付匈奴单于，所以给他配备的全是经过挑选的精兵强将。霍去病率军从代郡出发，大胆地重用匈奴降将赵破奴、复陆支、伊即轩等，在大沙漠地带纵横驰骋，行军两千多里，越过离侯山，渡过弓闾河，与匈奴左贤王相遇。汉军发动猛攻，左贤王大败而逃。这次战役，活捉匈奴屯头王、韩王等三人以及匈奴将军、相国、当户、都尉等83人，歼敌七万名。匈奴左贤王部几乎全军覆灭。霍去病率军追至狼居胥山（今蒙古境内德尔山）。为庆祝这次战役的胜利，霍去病在狠居胥山积土增山，举行祭天封礼，又在姑衍山（狼居背山附近）举行祭地禅礼，并登临瀚海（今贝加尔湖），刻石记功，然后凯旋还朝。
霍去病因功加封食邑5800户，并与大将军卫青一起被拜为大司马。
从此以后，匈奴向北向西迁到更偏远的地方去了，长城内外一片和平气象，人民安居乐业。
霍去病一生曾四次领兵出塞攻打匈奴，共歼敌11万多人。他平时少言寡语，战场上却勇猛无比。他是一位军事天才，汉武帝常常劝他学习孙吴兵法，他却说：“为将须随时运谋，何必定拘古法呢？”他是凭借战场上的直觉指挥战斗的，随机应变，闪电式行动，使他百战百胜，成为名扬后世的一代名将。
霍去病屡立战功，获得了高官厚禄，但他把个人的享受搁在一边，一心以国家利益为重。河西战役胜利后，汉武帝为了奖励他的卓越战功，特意命人在长安为他建造了一座豪华住宅，叫他去看看是否满意。霍去病谢绝了汉武帝的好意，气概豪壮地说：
“匈奴未灭，何以家为！”这句传诵千古的名言就是霍去病光辉一生的写照。
但是霍去病少年显贵，平步青云，没有统帅下级兵士的经历，因而缺乏对士卒的关心。他率军出征时，汉武帝派负责朝廷膳食的太官给他送去数十车酒肉，等到班师时，车上仍装有吃剩下的酒食，但士兵们许多却饿着肚子。在塞外时，士兵常常因缺粮而士气不振，可他却修建球室踢球。
公元前119年那次出征时，飞将军李广跟随卫青，因为公孙敖刚刚失去了爵位，卫青想让他同自己一起正面与单于作战立功，所以调整了战斗序列。被调到东路的李广与赵食其在沙漠中迷失了道路，没有参加战斗，卫青派人责问二人迷路的原因，并让他们到大将军处听候传讯，李广说：“我的部下无罪，迷路的责任在我。”他又对部下说：“我与匈奴大小作战七十余次，好容易有机会跟着大将军直接与单于作战，但大将军把我调到了东路，本来路途就远，又迷了路，天意如此呀。况且我已经六十多岁了，实在不能再去面对那些刀笔小吏。”说完就自刎了。赵食其的结果与苏建一样，交纳赎金后，贬为平民。李广的儿子李敢当时正在霍去病军中，因父亲的死而怨恨卫青，动手打伤了卫青，卫青没有追究此事，并隐瞒了起来。但霍去病年青气盛，对此事耿耿于怀，两年后，在甘泉宫陪汉武帝狩猎时，用箭将李敢射死。事后，汉武帝隐瞒了真相，说李敢是被鹿撞死的。
公元前117年，霍去病因病去世，年仅24岁。对于这位青年名将的过早离去，人们都感到无比的悲痛和惋惜。汉武帝特地命人在自己的茂陵旁边为霍去病修建了一座形状象祁连山的坟墓，并发动陇西、北地等五郡的匈奴人民，身穿黑甲，把霍去病的灵柩从长安护送到墓地安葬。
霍去病的墓至今仍然矗立在茂陵旁边，墓前的“
马踏匈奴”的石像，象征着他为国家立下的不朽功勋。
