在《水浒传》中，入云龙公孙胜是个法力高深、谋武兼备的高人，在梁山上的排名高居第四位。他跟随梁山众好汉南征北战的过程立下汗马功劳。不过，公孙胜并没有跟随众人走到最后。在平定王庆班师凯旋时，他便返回了二仙山，侍奉老母，潜心修道。在梁山经历了伤亡惨重的征讨方腊之战及朝廷奸臣的迫害后，公孙胜成了幸存好汉中排名最高之人，最后在二仙山得以善终。而在《水浒后传》中，公孙胜的经历更为传奇。
在该书中，公孙胜与宋江等众兄弟拜别后，收朱武为徒，二人一同回到了二仙山。公孙胜的母亲、师父罗真人羽化后，公孙胜与朱武在紫虚宫后面修建了一处小庵，师徒二人整日潜在小庵之中研究内丹与道术，过起了与世隔绝的生活。时至重阳佳节，公孙胜与朱武喝着自酿的椰子酒，回想起梁山聚义时的盛况及招安后众兄弟的遭遇，感慨万千，心中悲凉。
正当师徒二人大发感慨时，忽见一小道赶来报信，称官军围住了紫虚宫，有两个将军自称是奉童枢密的将令捉拿师父，一行人正在主持的引领下向小庵赶来。公孙胜听闻此言后甚是诧异，但也容不得多想，使了个隐身法跟朱武一起藏了起来。官军在小庵前后搜索了半天也没看见人影，随即便跟主持嚷嚷起来。在众人的对话中，公孙胜听到了虎峪寨斗法、李应杀了冯指挥使之事。
官军离开后，公孙胜与朱武现身。此时公孙胜的脑子里一片茫然，倒是朱武忽然想起来一件事。原来，他在下山买香时听到百姓议论，说时候饮马川聚了一伙强人。于是，公孙胜与朱武决定，先上饮马川探得实情再定去处。二人赶到饮马川后，果然见到了李应、樊瑞、蔡庆等故人。李应等人一见公孙胜与朱武二人，非常高兴，众人便来到聚义厅长谈了一番。
在交谈中，公孙胜终于搞清楚了状况。李应受了杜兴的牵连，不得已杀了童贯帐下的部将郭彪，无处可去才在饮马川落草，而自己则是受到了徒弟樊瑞的牵累。原来，郭京在虎峪寨与樊瑞斗法时吃了亏，为了报仇，他蛊惑李良嗣说服童贯抓捕樊瑞。但是，郭京不认识樊瑞，只听说过梁山的公孙胜道术了得，又见一枝花蔡庆跟樊瑞在一起，所以，就把樊瑞错当成了公孙胜。于是便出现了张雄和郭京一同上二仙山抓捕公孙胜的一幕。
在李应的极力说服下，公孙胜与朱武一起在饮马川山寨后面的白云坡上住了下来。此后不久，众人围剿万庆寺的金军和叛军。公孙胜施展法术，挫败了金军将领秃鲁，诛杀与金军勾结的毕丰、张信二人。此后，公孙胜跟随众兄弟远渡重洋，前往金鳌岛与李俊会合。在此期间，公孙胜再度施展法术，破了海贼萨陀头的巫术，击退革鹏、革雕等海贼。李俊开基立业后，公孙胜成了国师。
不久后，海贼革鹏卷土重来，向李俊发动进攻。倭王也派出了将领关白及三百艘战船和一万士卒参战。面对强敌，梁山好汉们毫不畏惧，展开殊死搏杀。在此战中，公孙胜再度施展法术，下了一天一夜的大雪，积雪深度五尺有余，海面上结了厚厚的冰层，将来犯之敌活活冻死。
李俊开基立业的消息传到中原后，宋高宗赵构非常振奋，亲自召见了公孙胜，还册封公孙胜为秉一正教通真虚寂大国师。此后，李俊命人在丹霞山修建了一座道观供公孙胜居住。在此期间，公孙胜还收了高丽国国王为徒。在《水浒后传》中，公孙胜的结局非常完美，一百二十岁时羽化而去。