霍去病在成名之前，生活并不好过。他的少年时代是在奴婢群中度过的，贫贱而艰苦。他的父亲是平阳县衙役，曾在平阳公主(汉武帝之姐)家当差，母亲是公主家的侍女。霍去病少年时的一大乐趣，就是跟随舅舅卫青习武，骑射，不久他的击刺就技艺超群，长成了一个体魄健壮、寡言守信、智勇兼备的青年。因为姨母卫子夫的关系，霍去病18岁就做了天子侍中(皇帝身边保卫安全的官)。就在这一年，他随大将军卫青参加与匈奴右贤王争夺河南地(今河套地区)的最后一战，号“票姚校尉”(意为行动迅猛的武官)。

他率领800精骑，距大军数百里之遥，乘匈奴不备，选择便于进攻的目标，出奇制胜，斩杀敌兵1028人，首战告捷，被封为冠军候。此后，匈奴主力远遁漠北，河西走廊的匈奴势孤力单。公元前121年春，霍去病升为“骠骑(意骁勇)将军”，率骑兵万人从陇西出发，进击河西匈奴右贤王(匈奴辖西部地方的最高长官)诸部，6天连续攻破五个部落，险些活捉单于之子，且以直取之势，使浑邪、休屠二王惊恐万状，日夜筑城堤防汉军正面进攻。但是霍去病令全体将士口衔竹箭，马摘响铃，悄悄沿焉支山(今甘肃山丹县东南)东急驰1000多里至皋兰山(今甘肃兰州市南)下，与卢侯、折兰二王进行短兵相接的肉搏战。

当时，汉军因长途跋涉，人马已疲惫不堪，但见霍去病一声高呼，跃马向前，连连击杀敌军，汉军士气大振，奋勇斩杀卢候、折兰二王及部众近9000人，俘浑邪王之子，缴休屠王“祭天金人”(作为匈奴人崇信“天主”祭祀用的丈高偶像)。/pp同年夏，霍去病又与公孙敖率数万骑兵从北地郡(今甘肃永昌西)出发，进攻匈奴右贤王，以彻底歼灭河西匈奴有生力量。由于沿焉支山北正西挺进的公孙敖部迷失道路，未能如期会师，霍去病随机应变，率军越过居延海(今内蒙古自治区西北)，由西北转向东南，深入2000多里，从祁连山麓烁得(今甘肃张掖西北)猛攻浑邪、休屠二王侧翼，斩敌3万余，迫使匈奴退出河西走廊。

匈奴为此悲歌：“失我祁连山，使我六畜不蕃息；失我焉支山，使我嫁妇无颜色。由于匈奴单于欲以战守不力，将浑邪、休屠二王问罪，这年秋天，二王决定降汉。汉武帝唯恐是诈兵之术，命霍去病率万骑前往受降，霍去病尚在途中，休屠王已然反悔，浑邪王情急刺杀休屠王，收编其军队。惊闻风云突变，霍去病毅然率军渡黄河，令全军在四万余匈奴部队前列阵进逼，这时浑邪王部许多无诚意降汉的人，纷纷掉转马头逃跑，阵营骚乱。

霍去病当机立断，飞马跃入浑邪王阵中，抓住浑邪王，稳住了匈奴众部，再通过谈判，命浑邪王斩杀八千名作乱官兵，派人护送浑邪王赴长安，自己率领几万匈奴兵，功成而返。汉朝把归附的匈奴部众安置在陇西等五郡关塞附近，又沿祁连山至盐泽(今新疆罗布泊)筑边防城寨，在原休屠王、浑邪王驻地分设武威、张掖两郡，酒泉、敦煌总称河西四郡，既进一步孤立了匈奴，又打开了通往西域的道路。