建安六年（201年），郡中推荐司马懿为上计掾（佐理州郡上计事务的官吏）。当时曹操正任司空，听说司马懿的名声后，派人征辟他到府中任职。虽然司马懿一度拒绝，不过还是被曹操强行征召到手下了。见到司马懿之后，曹操逐渐察觉司马懿“有雄豪志”，又发现他有“狼顾之相”，心里很忌讳。因此对曹丕说，司马懿不是甘为臣下的人，必会干预我们的家族之事。但因曹丕和司马懿关系很好，总是维护他，而得以无事，于是，司马懿勤于职守，废寝忘食，遂使曹操安心。
值得注意的是，曹操生前的时候，司马懿的官职相对较低，所以曹操心里虽然有忌讳，却也没直接将司马懿怎么样。不过，魏文帝曹丕登基称帝后，司马懿可谓是平步青云，逐渐成为曹魏的重臣了。因此，对于曹丕来说，显然要采取措施防止司马懿日后谋反。于是，公元226年，曹丕临终之际，就选择留下三个人来制衡司马懿。对此，在笔者看来，曹丕留下3人防止司马懿造反，本来万无一失，可惜这三个人都死在了他前面。
一
首先，黄初七年（226年）正月，曹丕回到洛阳的宫殿。五月丙辰日（6月28日），曹丕病重，命镇军大将军陈群、中军大将军曹真、征东大将军曹休、抚军大将军司马懿受领遗诏，共同辅佐嗣主曹叡。让后宫淑媛、昭仪已下的都各归其家。同月十七日（6月29日），曹丕去世，时年四十岁。谥号文皇帝，庙号高祖（《资治通鉴》作世祖）。按其生前的要求，不树不坟，葬于首阳陵（河南偃师西北）。由此，非常明显的是，魏文帝曹丕在临终之际，选择了四位托孤大臣，除了抚军大将军司马懿，还包含了镇军大将军陈群、中军大将军曹真、征东大将军曹休。从官职上来看，曹丕留下的这三人，自然是和司马懿不相上下的。甚至可以说，曹真和曹休因为曹魏宗室的身份，无疑要比司马懿更加受到曹魏皇帝的信任。
至于相对低调的陈群，则是曹丕处理朝政的重要帮手。比如大家熟悉的“九品中正制”，就出自陈群之手。对此，在笔者看来，魏文帝曹丕临终之际的设计，无疑是非常合理的，对于司马懿来说，一旦有谋反的举动，不管是曹真、曹休，还是陈群，都将成为司马懿的重要对手，甚至会让司马懿付出惨重的代价。只是，曹丕千算万算，却不会想到司马懿会是如此的长寿，乃至于他的儿子魏明帝曹叡，都在司马懿之前去世的。
二
至于曹真、曹休、陈群这三位托孤大臣，同样先于司马懿去世了，这成为司马懿能够篡夺曹魏大权的重要原因。就曹休来说，在魏文帝曹丕去世后，成为曹魏的大司马。在曹魏的武将官职中，大司马甚至要高于大将军，也即是曹魏武将之首了。太和二年（228年），东吴的鄱阳太守周鲂按照吴王孙权的主意，佯称得罪了吴王，要弃吴投魏。曹休于是率领骑兵、步兵共计十万往皖县（今安徽省潜山县）去接应周鲂。在这场战役中，曹休轻敌冒进，曹军士卒前无无退路、后又追兵，惶恐之下陆续叛逃，曹休的人马几乎已经溃不成军。
此时，贾逵所部的援军经过备道兼程的挺进后及时出现在夹石，吴军以为魏国救援大军已经来到，于是迅速撤离战场。贾逵其后又拿出粮食和军资供应曹休的军队，才使曹休免于全军覆没。太和二年秋九月庚子（228年11月8日），曹休去世，谥曰壮侯。子曹肇继嗣。也即因为这场战役的失利，曹休懊恼不已，最终在曹丕驾崩的第二年就去世了。因此，这意味着曹丕留下的四位托孤大臣，只剩下三位了。
三
太和四年（230年），曹真入朝，接替曹休，迁为大司马，赐剑履上殿，入朝不趋。在曹休去世后，曹真晋升为大司马，成为曹魏武将，甚至可以说是百官之首。不过，在公元230年，曹真因为进攻蜀汉一无所获，所以也病重了。太和五年（231年），曹真去世，获谥为元侯，由长子曹爽继承爵位。对于当时的魏明帝曹叡来说，短短几年时间内，痛失了两位大将，这无疑是一个重大打击。无奈之下，魏明帝曹叡只能将兵权交给了司马懿，指望他来抵挡蜀汉和东吴的进攻了。而在此之前，魏明帝曹叡的安排是曹休镇守扬州等地，也即执掌曹魏在东线的兵权，曹真镇守雍凉等地，也即执掌曹魏在西线的兵权。