在所有的开国功臣中，武将以徐达功劳最大，而文官则要数李善长最为有功。李善长在开国册封时位居六公之首，又为中书省左丞相，统领中书省日常事务。虽然李善长已辞官多年，但他仍然是淮西勋贵的顶梁柱，朝中大臣有什么疑难之事，也喜欢找李善长商量之后再作决定，比起徐达来，李善长对朝廷的威胁更大。
事实上，在成功除掉徐达的同时，朱元璋一直思考着如何除掉李善长。只是朱元璋明白，和徐达比起来，李善长这棵老树的根更深、枝更茂，要想搬倒他，还需费一番工夫，仔细计划。
洪武十八年，就在徐达死去的这一年，忽然有人报告朱元璋，说李善长的弟弟李存义父子曾经和胡惟庸相互勾结，准备谋反。
朱元璋听到这件事后不禁喜出望外，认为搬倒李善长的机会来了，他决定亲自提审李存义父子。
“说说看吧，你们是准备怎么谋反的？”朱元璋对李存义说道。
“皇上，该说的我都已经说过了。”原来在此之前刑部已经审过了李存义。
“这事李善长知道吗？”朱元璋继续问道。
“皇上，这事家兄完全不知情，还望皇上明察。”李存义答道。
朱元璋岂肯就此罢手，他明白如果真有这样的事情，他们不会不征求李善长的意见。“老实交代或许还有一条生路，要不然大刑之下，你也会什么都交代的。”
李存义已经领教过刑部大刑的厉害，知道自己熬不过去。想想还不如现在就招了，说不定皇上开恩还真能免自己一死。
“皇上英明，家兄的确知道此事。”李存义说道。
“说说到底是怎么回事吧。”朱元璋不紧不慢地说道。
“胡惟庸想造反，因为我和他是儿女亲家，就让我去说服家兄。家兄听说后很是吃惊，说谋反可是灭九族的勾当，坚决不同意。过了一段时间，胡惟庸又派家兄的一个老朋友杨文裕去劝说，说事成之后定当封家兄为九千岁，与胡惟庸共同治理国家。家兄仍是不肯，但言语间颇有些动摇。”李存义说道。
“那后来呢？”朱元璋生气地问道。他待李善长不薄，不敢想李善长真起反心。
“后来胡惟庸看劝不动家兄，便亲自登门来求。家兄仍是不许。后来家兄提起此事曾对我说：‘我老了，等我死后，就随便你们折腾吧，反正我也看不到了。’”李存义继续说道。
“李善长好大的胆子，立马让他来见我。”朱元璋愤怒地命令道。
等李善长带到，他已是吓得迈不开步子。刚一见到皇上，便瘫倒在地：“皇上，那都是臣一时糊涂才会听了胡惟庸那小人之言。请皇上恕罪。”
朱元璋虽是气愤，但脑子很清醒。他明白，仅靠李存义的这几句供词是扳不倒李善长的。况且如今徐达刚死，如果再杀李善长，只怕会引起老臣们的猜疑。现在不如把他放回去，等掌握了足够的证据再杀他不迟。
“咱知道你李善长对咱是忠心一片，李相国怎么会和胡惟庸这种小人狼狈为奸呢！这次的事情咱就不再追究了，你还回你的杭州好好养老去吧。”朱元璋笑笑说道。
李善长如今早已习惯了安稳的日子，把握不了朝中的形势，更揣摩不到皇上的心思，只以为皇上念其功高，不会拿自己开刀。听皇上不治自己的罪，于是连忙俯身谢过皇上，便又高高兴兴地回杭州去了。
朱元璋的“不治罪”果然麻痹了李善长。他回到杭州后丝毫没有收敛。洪武二十三年（1390年），七十七岁的李善长扩修宅院，因工匠不够，竟向信国公汤和借兵勇三百。
汤和一向为人小心谨慎，早早便辞官回了凤阳老家。徐达的死使汤和已隐约感到了山雨欲来，所以行事更加小心。他给李善长回信说，自己已经没有了军职，身边只有几个随从，并没有多余的兵勇借给他。
回完信后，汤和心里仍是不踏实。他明白现在皇上要是想杀人，那只需要他说一句话，有没有罪倒不重要。所以自己一定不能让皇上抓到任何把柄，要让皇上知道自己已是一个胆小怕事、安分守己的小民。于是连夜写了份奏折，把情况向皇上汇报了一遍。
皇上看完汤和的奏折，哈哈大笑，对太子朱标说道：“你看看，我们当年英勇无比的汤大帅，现在竟然变得婆婆妈妈，这点小事还向咱呈个折子。不过，如果我们的开国功臣都像汤帅一样安安稳稳地过日子该多好，那样我就放心多了。”朱元璋很高兴汤和已经变成了温顺的百姓，同时也对李善长的大兴土木深恶痛绝。
不久，李善长小妾的哥哥丁斌因仗着李善长的势力胡作非为，以致伤了别人性命，获罪入狱。不知危险即将来临的李善长在小妾的怂恿下，向官府施压，命他们放了丁斌。恰好此事又被盯着李善长的锦衣卫报告给了朱元璋。
朱元璋听说此事，万分愤怒，骂道：“好你个李善长，你凭什么让我的官员放人？如不杀你，天理何存！”于是命人把丁斌押解进京，朱元璋准备亲自审理他。
丁斌在朱元璋的暗示下，招出李善长与胡惟庸往来密切，并密谋造反。随后，在暗示下，李善长的几个家仆也纷纷告发李善长和胡惟庸的阴谋，并说李善长向汤和借兵三百是想试探汤和的态度如何，看有没有可能拉拢汤和共举大事。一时间，诸文武纷纷参奏李善长。
朱元璋眼看时机成熟，于是下旨把李善长打入大牢，听候处置。
太子朱标求情道：“父皇，自古以来治天下者无不以德治国。请问父皇如今你杀罚如此重，今后还有谁肯出来做官呢？李相国为我大明开国第一贤才，如果你杀了他，只怕会令天下士子们心寒啊！”
“标儿，你怎么就不明白呢？咱杀了这么多人，无非是想交给你一个安稳的大明王朝。你性格软弱，这满朝的功勋们你如何驾驭得了？如今我把他们一个个都给你除掉，咱才放心把朱家的基业交给你啊。”朱元璋不是不知道杀罚太重群臣思变，只是面对这么一个仁弱的太子，他也没有更好的选择。
这日早朝，御史进言道：“皇上，昨夜臣夜观天象，发现西南有流星陨落。据史书记载，这预示着有大臣即将获罪身亡。”
朱元璋立即起身道：“看来连天都难容下李善长。”群臣立即附和。
于是在洪武二十三年，朱元璋下旨，说李善长身为皇亲国戚，明知胡惟庸想谋反，竟然不举报，真乃罪大恶极，大逆不道，命将其兄弟二人两家共七十余人全部处死。
走在刑场的路上，七十七岁的李善长终于明白过来，皇上无论如何是不会放过自己的，他会找出各种理由置自己于死地。可惜，这些道理李善长在锦衣玉食的生活中是不能体会到的。同时，李善长也不禁佩服起朱元璋来。他心想如果自己当了皇帝，也难以容下一个像自己这样的李善长的存在。
李善长虽被小心翼翼地处死，但它引起的余震仍远远超出了朱元璋的想象。太子的话没错，李善长的死震动了满朝的士子。一年后有人替李善长上书喊冤，其意大致为：李善长对皇上忠心耿耿，出生入死帮皇上得了天下，论功应排在首位。况且李善长又是皇亲国戚，说他谋反，证据不足，说他要辅佐胡惟庸，则大错特错。李善长贵为开国第一功臣，即使助胡惟庸得了天下，胡惟庸又能给他什么呢？说流星陨落要杀大臣以应天象，则更不可取。臣害怕天下人听说此事，说李善长立下如此功劳却落得如此下场，以致人心离散。现在李善长已经死了，说这些也没什么意义，只盼皇上您能引以为戒，以鉴将来。
朱元璋看完之后，觉得自己确实有负李善长，而且还把他的全家都杀了，自己的确无话可说，也就不再怪罪写这篇文章的人。
徐达、李善长死后，朱元璋又杀了一批开国功臣，这些勋旧的威胁终于解除了。但朱元璋认为朝廷的问题并没有解决，其中最突出的问题：一是官员玩忽职守、贪污腐化；二是军官居功自傲、不听调遣，它们一直都在大明王朝中存在着。