但是长公主说的次数多了，刘启心里对栗姬也渐渐没有了过去的信任和宠爱。再加上一件事情的发生让刘启很是伤心，他身体不太好，有一次试探着将自己的儿子们托付给栗姬，他说：““百岁後，善视之。”
这六个字的意味，相信很多人都应该明白，但栗姬非但没有感恩接受顺便表表忠心和爱护之心，反而愤怒而不肯答应，甚至还对刘启说了些很过分的话，这让刘启明白，栗姬这个女人是做不到母仪天下的，也不可能爱护他所有的孩子。
长公主的坏话，栗姬自己的作，让刘启越来越犹豫，他不希望百年之后，栗姬真的成为太后，那刘荣呢？那时的刘启还没有想过要废太子，不过王娡做的事 却让刘启下定了决心。
自从王娡和长公主达成协议后，王娡在刘启面前越发的温顺、沉静、大度，越来越会教育儿子，而长公主时不时为刘彻说好话，也让刘启想起来王娡当年是梦日入怀生下了刘彻，刘彻这个儿子确实不一般，他忍不住将刘荣合刘彻做了对比，没有结果，毕竟刘彻太小。
于是王娡又选择从另一个方面刺激刘启，她去”帮助“栗姬成为皇后，我们知道，刘启的第一任皇后事薄皇后，薄皇后不得刘启的宠爱且无子，但薄太后在世的时候，刘启也只能供着薄皇后，等薄太后去世之后，刘启就找机会将薄皇后废了，皇后的位子一下子空置了下来。
按照当时的局势来看，栗姬是有很大的希望成为皇后的，毕竟她的儿子是太子，她应该备立为皇后，但大家觉得应该是一回事，而刘启立不立又是另一回事，说白了，有作为的皇帝都想说了算，而不是被朝臣牵着鼻子走。王娡正是看到了这一点，她私下里让一些大臣在刘启面前请立栗姬为皇后。
朝臣突然请立栗姬为皇后，刘启自然认为是栗姬和外廷有联系，后宫和外廷联系起来逼他立皇后，这是不是说明太子刘荣也掺和其中呢？刘启不能不往这方面去想，他四十岁还不到，难道太子就等不及，就已经开始拉帮结派了？这让刘启如何能忍？所以刘荣很快就被废为临江王，而刘彻被立为太子。
