霍去病眼里女人就只配给男人玩得份，他有一个儿子叫霍嬗，说是他和他府里的一个侍女生的，侍女身份低微得很，霍去病当然不会娶她，他只认了霍嬗，让他做了自己的私生子。在汉朝私生子是可以容忍的，况且霍去病本人也是私生子，对于霍嬗，霍去病也懒得管，一直把他放在卫青家受教育。霍去病死的时候霍嬗才四岁，汉武帝看在霍去病的份上让这小孩继续做冠军侯，准备把他培养成第二个霍去病，后来汉武封泰山，独独把霍嬗带上山顶举行了秘密的仪式，回去之后霍嬗就死了，也是死的不明不白，估计是他泄漏了汉武封禅的“秘密”，被汉武秘密结果掉的。
霍嬗死时才十一岁，当然没有后代，霍去病就绝后了，但是按封建礼制，兄死无后，弟弟应该负责为哥哥续后，因此霍光就与霍去病旧时的一个侍女(不知道是不是霍嬗的母亲)生下一对双生子，名叫霍山、霍云，过继给霍去病当孙子(按年龄应该是儿子辈，无奈中间毕竟还隔着个霍嬗)。霍光把持朝政三十年，死了以后汉宣帝剪除了霍氏，霍氏一门被族诛。
野史上说霍去病的妻子是翠羽公主，是匈奴单于的侄女。陕西省图书馆里，有一本叫《汉武帝》的书上写：他和卫子夫的女儿阳石公主青梅竹马，霍去病常陪小公主玩，小公主很漂亮，也很仰慕去病，但去病说要建功立业击破匈奴再成亲，结果却英年早逝。霍去病可能一生并未娶妻，但他有个儿子霍嬗确实真的。
历史上霍去病的妻子
霍去病、霍光兄弟两在中国历史上可以说很少有可以与他们相提并论的两兄弟了。霍去病虽然年仅24岁就去世了，可他六击匈奴的英雄史迹，使他当之无愧地成为中国的“战神”。霍光则是汉武帝的托孤大臣，独揽朝权二十年，轻而易举地可以废立皇帝，但史书上对他还是推崇备至，视之为汉朝的“周公”，官拜大司马大将军，宣成侯。
可就是这样英明神武，文治武功的兄弟俩，可能怎么也想不到，他们的家族最后竟毁在一个女人的手里!这个女人就是霍光的妻子。奇怪的是《汉书·霍光传》只提到了她的名字叫“显”，并没有提她的姓，有的人管她叫霍显，也未尝不可，无论东西方，都有在妻子名字前加丈夫的姓的传统，为了行文的方便。我们不妨也称之为霍显吧。
话要从汉昭帝过早去世说起，汉昭帝是汉武帝的小儿子，汉武帝临终前向霍光和金日磾托孤，这两人也确实没有辜负汉武帝的厚望，将大汉朝治理的井井有条，国泰民安。可惜的是英明的汉昭帝年纪轻轻就死了，而且没有留下儿子。霍光就迎立汉武帝的孙子昌邑王刘贺为帝，可是这个刘贺有点得意忘形，皇位还没有坐稳呢，就开始排拆起霍光了。集党政军权于一身的霍光岂是好惹的，于是找了一个“行淫乱”的罪名，联合太后(霍光的外孙女)把做了27天皇帝的刘贺又从皇帝宝座上拉了下来。
这一回找谁来做皇帝呢，霍光想到了与他有亲戚关系的刘病已。刘病已是汉武帝与卫子夫的儿子刘据的孙子，卫子夫是霍去病的小姨，而霍去病是霍光的同父异母哥哥，这样算来，刘病已应该喊霍光爷爷。
刘病已的爷爷刘据因为巫蛊案被近起兵，兵败后，他老妈卫子夫，他媳妇史良娣，孙子刘进等都被杀了，只有这个才几个月大的皇曾孙刘病已死里逃生，在民间幸存下来。霍光找这么一个孩子来做皇帝，摆明了是想让新皇帝对他心存感激，好让他继续独揽大权，按说他这个目的也的确达到了，所有的事情都必须先对霍光说了，然后才能对皇帝说。