在东征南伐的时候，朱元璋就已经在部署下一个战略方针——北伐。虽然刘伯温分析北方元廷内斗为南方作战提供了时机，而朱元璋认为这其实也为北伐提供了战机，因为那些元廷将领和领导者只顾争斗，无心顾全大局。所以在东征南伐的同时，朱元璋又紧锣密鼓地进行北伐的备战工作。
虽然元朝现在看似羸弱不堪，其实在北方还聚集着很强的实力，而直接对抗元朝也是朱元璋成就霸业的最后一步，所以北伐的备战工作要比南伐更加严谨密切。朱元璋先和刘伯温商量了大致的作战方针，然后又和诸将在军事会议上详细商讨。
猛将常遇春说：“末将以为，如今南方已定，只剩下北方一些军事割据，那些势力又互相争斗，应趁此机会，用攻坚战术，重兵出击，直接攻下大都，都城一旦被破，乘胜再攻击北方的军事势力，即可大获全胜。”
而朱元璋的思路刚好相反，当然他也知道常遇春提出的方案也是大多数将领的想法，但是却有轻敌冒进的倾向。
朱元璋说：“大都是元朝经营了上百年的都城，防御守护一定非常坚固。倘若集中兵力深入，久攻不下，而分散在山东等地的元兵再去大都援助，那么咱们的军队到时可能粮饷不足，进退皆难。”
这个时候刘伯温说：“直接进攻大都虽然是速战的策略，但正如主公分析，看似存在优势，仔细分析弊端更多，不如反其道而行。”
朱元璋看了一眼刘伯温，又扫视诸将，决定选择和常遇春相反的策略，他说：“刚才所说的劣势，对我军来说都是致命的威胁。咱以为，都到了这种地步了，攻大都是早晚之事，不过方式不同罢了。大都好比是一棵大树的根，而山东、河南等地不过是其所剩无几的枝叶，不如先去枝叶，取下山东，回师河南，砍其枝叶，去其羽翼，再进军潼关，占其门户。这样，东、南、西三面的军事要地皆被我军掌握，此时大都处于孤绝无援的境地，再发动总攻包围大都，自然拔其根基。攻下大都，再乘胜向西，云中、太原等地亦在掌控之中，元朝即可彻底灭除。”
诸将听了，皆连连称赞这是最稳重全面的策略。
这就是朱元璋在十多年的战斗生涯中培养出的军事分析能力，既能把握全局，又能细心紧密地注意到局部，同时野心和魄力共存。
战略既定，下一步就是具体的军事部署。
这次真像李善长建议的那样，用最精锐、最强的将领出击。
朱元璋备战工作的下一步就是组织挑选统帅部人员。
朱元璋知道，选拔人才得和李善长商量，李善长虽谋略策划不如刘伯温，但对人际关系的处理，对将领们的熟悉却是最好的。
朱元璋说：“这次北伐，关系重大，咱觉得还是要任用老将担任将帅。”
李善长说：“平陈友谅之前，主公亲自指挥诸将，此次北伐，将领皆在远处作战，善长认为需要选出一个能在场指挥节制诸将的大将军。”
朱元璋道：“这也是咱在考虑忧心的问题啊。像常遇春、蓝玉这样的猛将，虽骁勇善战，但常常会意气用事，必须有个大将军来压阵，你以为谁做这个大将军最合适呢？”
朱元璋这样问李善长，并不是说他自己心中就没有人选，不过他更想听听他人的意见。
李善长略有所思，沉默片刻即说：“善长以为，徐达可统帅全军。徐达身经百战，用兵持重，言行谨慎，不做无把握之事，也不打无把握之仗，又注重军纪。在将士中又属老字辈，能服众。”
朱元璋点头应允，其实他心中也选了徐达，徐达是他的结拜兄弟，一同打天下可谓是赴汤蹈火，性情稳重，靠得住，对朱元璋绝对服从和忠心。
经过严密的考虑，朱元璋在行军前宣布了北伐的将帅部署：徐达为征虏大将军，管制诸将，有运筹决策之权。常遇春骁勇善战，所向披靡，为副将军，做先锋。朱元璋知道，像常遇春这样的骁将，必须要适当驾驭，他的位次仅在徐达之下，他就无话可说，毕竟徐达是老将，同时任命参将冯胜（原名冯德胜）配合常遇春，做左右翼。雪显、傅友德各领一路大军，独当一面。
应该说，这支北伐军配备了最优秀的将领，也使用了最精锐的兵士。
出发前，朱元璋特地和几位主将谈心，谈心不过是为了让他们更好地打仗，更好地为自己服务，这是朱元璋用人的聪明之处，他非常清楚将领的情绪和心理在作战中的重要性，所以每次大战，朱元璋都恳切关心地和将领谈话。
先是徐达、常遇春、冯胜、傅友德等人。对徐达、汤和这两个结拜兄弟，朱元璋在私下里都是以兄弟相称，从不摆架子。而朱元璋跟老将在一起，最拿手的谈心方式就是回忆，通过共同的往事记忆，唤起共同的情感共鸣，这样情感拉近了，说什么也都容易听进去。
朱元璋说：“北伐的重任在你肩上担着，这个责任很重，你作为大将军，一定要严整军队，沟通上下，使将士们同心协力。大将军的威严，你当用则用，有违纪犯规者，当严惩不误，万事慎重再慎重，当断则断，指挥百万大军当镇定自若，统筹兼顾。”
一切都安排妥当，行军前，朱元璋为约束鼓舞士气，在应天北门外的七里山，设出师祭坛。
朱元璋先举起酒盏，祭告天地，告谕将士们北伐的意义和重要性：“此次北伐，是奉行天命，为天下百姓而出征。咱们的目的并不是为了攻城略地，而是要平定中原，推翻腐朽的元朝，为天下百姓谋安居乐业之环境。咱仁义之师的称号不能枉当，每次出征，咱都再三交代，不可乱杀无辜，不可抢人财物，不可强夺民女，此次依然如此，咱是讨伐元朝的义军，义军‘义’字当头，望众将和众士切记心中。”
这一席话，对士兵们而言是感动和鼓舞，也是送行前的关切。
老将徐达为征虏大将军，率领二十五万大军，从淮河向北，直入中原。
在徐达率兵北上的同时，朱元璋还做了另外一件事，这件事对他平定北方、收拢人心起到了很关键的作用。
朱元璋在用武的同时，还用了文。所谓用了文，就是让宋濂写了一封敬告北方官吏和人民的檄文，到处散发张贴，以使北方人民明白此次北伐的因由，消除北方地主官僚对红巾军的疑惧心理，同时也用来瓦解元军的士气。宋濂的这篇檄文长达千字，言辞恳切，从汉族中原人的立场历数蒙元统治的弊端和腐朽。
朱元璋真的重兵北上了，元朝的军事将领们才突然慌了手脚，停止内斗残杀，决定对抗朱元璋。然而多年来的不合，使得元朝的将领们各自为战，不愿听从他人，更不愿委屈自己与别人合作，为朱元璋各个歼灭提供了良好的战机。而宋濂的那篇檄文，对北方的汉族官僚、地主、知识阶层起到了很好的安抚和拉拢作用，使得北伐军所到之处并未受到百姓的反击，还得到地方势力的相助，且山东、河南的一些州县不攻自破，纷纷投降。
在具体的战略操作上，朱元璋让北伐军的主力徐达从淮河地区进入河南，同时让邓愈做偏师，由襄阳向北攻南阳以分散元兵军力，三个多月的时间，山东即被平定。顺利平定山东后，兵分两路，一路攻陈桥，再攻汴梁；一路攻归德（今河南商丘）、许州（今河南许昌）和邓愈会师，从后路攻击汴梁。这样，两兵夹击，汴梁不战而降。同时，冯胜也攻克了潼关，河南也被平定。
朱元璋的军事计划基本成功，下一步就是从三面包围元大都。这时已经到了明洪武元年（1368年）五月，朱元璋亲自来到汴梁，召开军事会议，商讨攻占大都的军事策略。虽然大都的羽翼被除，但朱元璋依然不敢轻敌，非常重视这次出击，因为最后的胜利就要到来。
然而朱元璋的大军刚到大都，却发现大都的驻守力量非常薄弱，攻下大都才得知，皇帝早在大都被围攻前就已经逃跑，大都不攻自破。
朱元璋以稳步推进、步步为营的方式，逐渐消灭元军在大都附近的军事割据，最后直取大都，元皇帝逃亡，元朝政府在形式上已经不复存在。在徐达他们北伐取得初步胜利的时候，朱元璋在应天称了皇帝，定年号为洪武，国号为明。农民出身的朱元璋完成了他建功立业的步伐，而他又有了新的征程——如何整治国家，如何让大明王朝延续下去。