南征北战，东招西讨，多少年来朱元璋已经习惯了这种生活。处理起有关问题来，早已得心应手。可定鼎金陵，当上皇帝以后，朱元璋不得不面对各种不同以前的新问题。从取得天下到治理天下，他能完成这种过渡吗？通过李善长与刘基的明争暗斗，朱元璋顺利实现了这一转变。
洪武三年（1370年），朱元璋大封功臣。授李善长中书左丞相，封韩国公，岁禄四千石，子孙世袭。朱元璋更是把他比做汉之萧何。封刘伯温诚意伯，岁禄两百石。
受封当晚回到家中，刘伯温长子刘琏问道：“父亲，儿不明白为何父亲仅被封为伯爵，而李善长竟然位居六公之首？这太不公平了。”
“琏儿呀，你还太年轻啊，许多道理你还不明白。皇上这是向着咱呢。”刘伯温道。
“儿的确不明白。他李善长岁禄四千石，为何仅予父亲两百石。就算李善长居功至伟，但父亲也不遑多让呀。”刘琏实在是不解，他替父亲觉得委屈。
“琏儿，自古以来飞鸟尽，良弓藏。此时，谁的地位越高，谁也就越危险啊。你可以这样想，为父岁禄虽只有区区两百石，仅为李善长的二十分之一，但为父的危险也只有他李善长的二十分之一。”刘伯温解释道。
刘伯温明白，如今天下初定，皇上还不敢对这些有功之臣下狠手，但这一天迟早都会来临。朱元璋这个皇上如此聪明，他不会留着这些功臣的。只要老百姓能过上太平日子，我刘伯温还有何求！该是我回青田老家过几天清静日子的时候了，找个适当时机就回去吧。这官场污秽不堪，荣华富贵万不可贪恋啊。
过了段时间，皇上召刘伯温进宫议事。君臣礼毕，朱元璋问道：“伯温啊，有没有什么话想对咱说啊？”
刘伯温明白，皇上这是在问自己对封爵一事有没有意见呢。“启禀皇上，臣没有什么要说的。”
“你不说咱也明白，这些年你跟随咱没少给咱出谋划策，立下了不少功劳。和李善长比起来，封你为伯爵确实委屈你了。如今右丞相徐达征战在外，咱准备增设一个丞相，让你来做，你看如何啊？”
“皇上这万万不可啊，臣担当不起！”刘伯温立即俯身下拜道。
“有什么担当不起的，我认为你做丞相比李善长更合适。”皇上扶起他道。
“皇上过奖了，李相国是柱国大臣，功勋显赫。而臣只不过是那山野小树，能支起只檐片瓦以得安身已是不错，怎可和李相国相提并论。”刘伯温趁机道出自己的归隐之心。
朱元璋明白，李善长没少说刘伯温的坏话。刘伯温在此时拒绝丞相一职，其原因只是为求自保。“呵呵，你的才干我太清楚了，这丞相一职咱以为你最合适。你不愿意只怕是另有原因。最近有些折子都在说你的是非，当然也有说李相国的。你怎么还说李相国的好呢？”
“皇上，臣性子直，只怕是得罪不少人。但平心而论，目前丞相一职还是李相国最为合适。现在文武百官的关系，怕只有李相国一人能够理顺。”刘伯温明白，现在诸文武多是淮西子弟，他们统揽朝廷大权。在这种情况下，他根本无法立足，所以丞相一职自己绝不能担任。
“既然你不愿意做这个丞相，咱也不勉强你了。我有几个人选你帮我参谋一下。”朱元璋心里明白刘伯温在担心什么，便不再勉强。
“杨宪如何呀？”朱元璋问道。
“臣以为杨宪不行。”刘伯温很感激皇上能与他共同探讨丞相人选。
“为什么啊？当初可是你把他推荐给咱的啊。”朱元璋很是不解。
“杨宪的确具有相才，也很得皇上赏识。但他办事好勇斗狠，处理不好与群僚的关系。只怕日后一旦为相，会使百官人人自危，引起变乱啊。”杨宪是刘伯温的好友，刘伯温太了解他了。
“那汪广洋怎么样？”朱元璋继续问道。
“此人比杨宪还不如，他的才气不能统领群臣。做个中书省参政已足矣。”
“那胡惟庸呢？”
“此人有相才，但气量不足为相。遇事睚眦必报，一旦为相，必打压异己。”
“难道他们都不行吗？”朱元璋愤愤道。
“皇上，臣以为现如今有李相国坐镇中书省已经足够了。皇上大可不必为此心烦。”刘伯温明白，李善长如今已统揽朝政，谁出任另一个丞相也不可能从根本上改变这一现状。皇上想靠增加一个丞相职位来牵制李善长，只怕是徒劳无益。
朱元璋也明白这个道理，他早有废李善长之心，只是时机还未成熟。李善长位居六公之首，一旦动了他，只怕那些开国功勋会人人自危。
“伯温啊，过几日咱将要去汴梁犒赏诸将士，你和李相国一起主政。这个你就不要再推辞了。”朱元璋还是不想放过刘伯温。刘伯温只好答应。
在李善长、刘伯温主事期间，有一日，刘伯温查出中书省都事李彬贪污公款。其实李善长早知道此事，只是李彬是勋旧，李善长一直帮其掩盖，没有说出。
李善长向刘伯温道：“此事就请先放一放，等皇上回来再说。”李善长相信，皇上不会因为李彬贪污些银子就把他怎么样。
可没想到刘伯温坚决不同意，他问李善长：“相国大人，您还记得宋朝是怎么灭亡的吗？皆因其法纪松弛，以致丢了天下。难道您想让我们重蹈覆辙吗？”李善长哑口无言。
刘伯温认为应斩了李彬，以肃纪纲。他奏请皇上后得到许可，便立即斩了李彬，一时朝臣无不震惊。
刘伯温明白，这次他算彻底得罪了李善长，恐怕朝中再无自己安身之地。果然，此后李善长多次进言中伤刘伯温。
不久，刘伯温青田老家的妻子病逝，刘伯温想，自己告归的机会终于来了，于是去见皇上。
“伯温啊，你的事我都知道了，需要多少时间来处理家事呀？”还没等刘伯温说话，朱元璋先道。
“皇上，连日来臣的身体也越来越差，想请皇上恩准臣告老还乡过几天太平日子，也好陪陪那死去的老伴。”刘伯温恳求道。
朱元璋不觉一阵心酸，自己的确对不住刘伯温，天子脚下竟然不能给他太平的日子。“也好，回去歇歇也好，咱知道这段时间你日子不太平静。但伯温呀，咱大明江山还需要你这种人才，希望咱有需要的时候，你还能出山相助。相信那时咱能让你好好施展你的才能。”
刘伯温叩头谢恩。他自己也不能肯定这一走还会不会再回来。他是不想回来，大明朝虽然打下了江山，却仍留下一大堆问题没解决。希望皇上经过这几年的历练，能去除作战时的勇猛而多些驭臣之策。
“皇上，臣要走了，但还有几句话要说。你如今已得了天下，需知这天下是天下人的天下，而不是你的，也不是淮西子弟的。你可以靠淮西子弟打天下，但你不可以只凭淮西子弟治天下啊。”
“咱早等你这番话了，咱懂。那些骁勇悍将，他们战时功劳有多大，他们如今威胁就有多大。看看今天的满朝文武，尽是些淮西人。他们还说你是什么浙东党，真是无中生有！”朱元璋说到此处，气得瞪大了双眼。
“多谢皇上圣断！”刘伯温感激地说道。
“其实咱真的不想放你走，咱还准备好好用你这个浙东人呢。”朱元璋依依不舍道。
回来后，刘伯温与长子刘琏说道：“赶快收拾东西，明天一早就悄悄地走。”
“父亲，皇上不是已经同意我们回青田老家了吗？为什么还要悄悄地走呢？”刘琏问道。
“皇上答应放我们回去，但却不是心甘情愿。我担心皇上又听信谗言改变主意啊。”刘伯温解释道。
果然如刘伯温所料，胡惟庸得到刘伯温遭遣的消息后，向皇上进言，说青田地处原张士诚部，担心刘伯温回去后聚众造反。
朱元璋很是犹豫，胡惟庸的话也不是没有道理。同时，朱元璋也担心刘伯温回到青田后，以李善长为首的淮西人仍不会放过他，思来想去，决定还是把刘伯温留在京城更为合适。
可怜刘伯温虽遭遣，仍不得回青田老家。
如果说李善长是他朱元璋的萧何，那刘伯温就是他的张良。朱元璋明白，要想整治吏政，还得从他们这些股肱之臣下手。李善长、刘伯温两人斗争的表面结果是刘伯温遭遣，但朱元璋经过此事也看清了时局。以李善长为首的淮西集团势力日益膨胀，直接威胁到皇权。连自己器重的刘伯温他们都可以随意对付，更何况其他官员呢？李善长也感受到了这种压力，出于自保，于洪武三年（1370年）称病归乡。朱元璋遂在洪武四年（1371年），以李善长年高有病为名，让李善长告老还乡。