“龙生九子,各不相同”。乾隆一共有17个孩子，嘉庆只是第15个孩子，早在他出生之前，乾隆就想过把皇位传给他的哥哥们。 乾隆受汉人立嫡长子制度的影响，欲将皇位传给富察皇后的儿子永琏。史书里的永琏聪慧过人，不仅7岁时被乾隆秘密立为太子，就连爷爷雍正也非常喜欢他，名字还是雍正取的，但永琏9岁的时候因为寒疾去世。
富察皇后还有一子永琮，可永琮还没有2岁就因为痘疫死亡，永琮死亡之后，乾隆下了一道谕旨，“朕亦深望教养成立。可属承祧。”可惜永琮没有皇上命，辜负了乾隆的一片真心。
”有嫡立嫡，无嫡立长“，乾隆两个嫡长子都先后早夭，他只好考虑皇长子永璜，永璜性格老实木讷，胆小懦弱，不是个帝王将相之才，乾隆对他非常不满意。乾隆对他彻底失望是在富察皇后葬礼上。
乾隆非常深爱富察皇后，要求所有人都要在富察皇后葬礼上痛哭流涕，因为死的人不是自己是生母，永璜没有表现出太多痛苦之情，乾隆一怒之下就撤销了他的继承权，一起被剥夺继承权的还有同样没有表现出痛苦之情的皇三子永璋。这两个皇子莫名其妙失去了继承权，都饱受精神折磨都在二十几岁去世。
前面几个皇子相继早逝，五阿哥永琪成了乾隆最看好的人，他文武双全，既会汉满蒙三语，又会骑马射箭，1763圆明园大火，亲自将乾隆从住所九州清晏殿大火中背出，乾隆更加喜欢他。
可是在这之后，永琪得了附骨疮，到了冬天病情加重，乾隆为了让他保住身体，因此封他为和硕荣亲王。上一个用“荣”封王的是顺治帝和董鄂妃夭折的孩子皇四子，顺治在皇四子死后追封的和硕荣亲王，之前还想封他为太子。乾隆对这些家事肯定知道，他还用“荣”来给永琪封王，实际上有将皇位传给他的意思。然而永琪没能熬过附骨疮，封王才一年就病逝了。
永琪和永璜、永璋两位皇子安葬在一处，在北京密云十里铺杨各庄村，陵墓周围都有火骑兵把守，别说盗墓贼不敢来，就连乱砍滥伐的人都不敢靠近这里砍一棵树。永琪的陵墓在1958年被考古学家发现并挖掘，考古学家发现墓地里的陪葬品数量远超其他皇子，陵墓规格也比他们大，达到了太子级别，看来百年前的传闻是真的。
1793年，英国使臣马戈尔尼来华，82岁的乾隆还在他面前夸奖永琪，并透露将他视为接班人的意思：“其时朕视皇五子于诸子中更觉贵重，颇属意于彼。” 乾隆直到80几岁还在遗憾永琪早逝，可见后来的皇子在他心目中的地位还没有超过永琪。
永琪的生母愉贵人在宫中地位不高，又不是被乾隆宠爱的一个，永琪在先天条件不利的情况还能被乾隆视为继承人，没有十分出众的才能是做不到的，只是天妒英才，他还没来得及施展才华就被疾病带走了。