可以看出，汪直在这件事上实际上是扮演一个清除恶霸的清官的角色，是在为民除害。但到了朝廷一些官员的嘴里，怎么就变成了构置大案、诬陷朝廷官员了呢？汪直在抓捕杨仕伟时无所顾忌，此举打破了朝中群臣的底线。事实上，朝中群臣攻击汪直和西厂，也并非针对案子本身。明朝自成立以来，皇权和朝廷文臣之间始终存在争权夺利的现象。朱元璋建立锦衣卫，其目的就是监察百官，同时采取各种措施控制朝廷群臣的权力。明成祖朱棣觉得锦衣卫权力太大，又建立了东厂，对锦衣卫进行监督，同时也监察百官。锦衣卫和东厂一直充当着皇帝耳目的角色，对朝廷群臣加以监控。
正统年间，明英宗朱祁镇兵败被俘，皇权被削弱，锦衣卫和东厂被群臣打压，逐渐失去权势，文臣则在朝堂之上掌握大权。朱祁镇复辟后，虽对锦衣卫有所倚重，但他做得远远不够。到了成化年间，锦衣卫和东厂彻底沦为摆设，并丧失其监察百官的职能。这种情况是朝廷文臣乐于看到的，文臣当然不希望被锦衣卫和东厂盯得死死。明宪宗继位于还很年轻，并没有意识到锦衣卫和东厂能发挥作用，对于皇权是非常重要的。
成化十二年（1476年）发生了妖狐夜出和妖道李子龙这两件事以后，明宪宗突然意识到他身边所隐藏的危机。他明白自己需要一个组织来帮他打探情报，监察百官，所以他让汪直成立了西厂。果然汪直不负所望，刚成立不久就破了大案。对于朝廷群臣来讲，西厂的成立，在某种程度上分了文臣的权力，并对文臣形成制约，显然这不是朝中文臣希望看到的。杨晔的祖上世代为官，都是文臣，杨晔家族也是官绅豪门。西厂铲除杨晔家族，意味着西厂执行了以往的锦衣卫和东厂一样的职能，即监察朝廷百官，这使朝廷文臣坐立不安。
杨晔案最后是由明宪宗出面平定的，杨泰被判了斩罪，杨晔已经死在了西厂。杨晔的家也被抄，财产悉数充官，只剩祠堂与田三十顷给还杨家。杨晔的叔父杨仕伟、妹夫董玙、从弟杨仕儆均被贬官。被杨晔收买的刑部主事王应奎、锦衣卫百户高崇等人全部被下狱，发配边卫充军。
办了此案之后，汪直和他的西厂就已经成了朝廷文臣的眼中钉，文臣们欲除之而后快。经过文臣几个月的不断弹劾，明宪宗压力越来越大，最终虽于成化十三年（1477年）六月撤除西厂，但却没有处罚汪直。这也表明明宪宗心中对汪直和西厂是认可的，只是他不得不平息朝廷文臣的怒火，只能先撤除西厂。一个月之后，朝廷文臣的怒火渐渐平息，明宪宗又把西厂给恢复了，仍让汪直任西厂厂公，西厂从此就成为悬挂在朝廷文臣头上的利剑
