当时怡嫔柏氏为一宫主位，地位尊崇，因此钮祜禄氏首先下懿旨痛斥了柏常在，在钮祜禄氏的懿旨中，实际上也含沙射影的斥责了怡嫔。对此乾隆皇帝和怡嫔都心知肚明。然而待母极为孝顺的乾隆皇帝不敢违背母亲的旨意，因此在皇太后降旨后，乾隆皇帝也不得不有所收敛。之后，怡嫔柏氏与妹妹柏常在逐渐受到了乾隆皇帝的冷落，加之柏氏姐妹承宠多年却始终没有子嗣，所以怡嫔柏氏的地位之间不如以前。
随着乾隆后宫一批批年轻貌美的嫔妃的选入，柏氏逐渐不再被乾隆皇帝所专宠。其位分也止步于嫔位，再未能有所升迁。乾隆十七年，乾隆皇帝的裕陵竣工，已故的孝贤皇后、慧贤皇贵妃和哲悯皇贵妃被葬入了乾隆皇帝的地宫之中，在这次活动中，怡嫔柏氏与皇后辉发那拉氏、嘉贵妃金氏以及颖嫔巴林氏一同参加，据记载，在进入地宫的顺序中，怡嫔柏氏位居皇后辉发那拉氏和嘉贵妃金氏之后，颖嫔之前，由此可见，此时的怡嫔虽然皇宠不在，但是仍位居乾隆皇帝的嫔位之首。
乾隆二十二年五月十五，怡嫔柏氏病逝，终年仅三十六岁，柏氏所患何病？发病多久，历史上并没有明确记载，但是柏氏病逝后，乾隆皇帝却表现的极为悲痛，他不仅宣布辍朝两日，还命大内以下宗室以上，不报祭、不还愿、穿素服。和硕亲王以下，内大臣侍卫民公侯伯都统尚书子爵等官以上齐集。这样的死后哀荣，对于一位无儿无女并且生前仅为嫔位的皇妃来说，已经是至高的哀荣了。我们从乾隆皇帝的表现可以看出，柏氏直到病逝时，应该都没有失宠，乾隆皇帝十分怀念与柏氏生前那段一同度过的美好时光。
