朱元璋攻下定远的时候，积蓄了初步的军事力量，算是有了自己的小部队。正在要离开定远进攻滁州的时候，一日傍晚，朱元璋带着几个兵士从城外要入城，在城门口遇到一个骑驴的读书人。兵士都是骑马，见到骑驴的布衣，不禁失笑，向来是秀才遇到兵有理说不清，那骑驴的读书人敏锐地看了看朱元璋，遂鞭驴绕道。
朱元璋就在这极短的时间，迅速观察了一下那个读书人，觉得此人目光敏锐，相貌儒雅，颇有好感，遂问道：“先生且慢，可否请问先生尊姓大名？”
那读书人也不作答，哼了一声说：“请问你又是谁？”
身旁的小兵嚷道：“放肆，定远城中谁不知朱公子？！”
朱元璋喝道：“不得无礼，在下朱元璋，请问……”
不待朱元璋问完，那人就有些惊讶地说：“你是朱元璋？鄙人定远李善长。”
说完策驴而走。
朱元璋听说是李善长，忙派兵士跟随去请。
朱元璋在淮西一带当游僧的时候，就已耳闻李善长的才气，知道此人有智谋，懂得兵法，又有料事如神的美名。如今是他事业起步的时候，他多么渴望能得到这样的人才相助。
不料，过了许久，士兵回来禀报，说李善长拒绝来见朱元璋，跟随一路，软话硬话说了不少，他就是不来。原来李善长这些日子也听闻义军领队朱元璋的一些事迹，对这个人有些兴趣，今日一见，果然气宇不凡，眉宇间透露着英勇之气，又能对读书人以礼相待。但李善长想知道这个朱元璋到底以什么样的心态、什么样的目的来找自己，故意不来相见。他知道若朱元璋懂得吸纳人才，必会再来请求。
过了两日，朱元璋抽空亲自去李善长的住所求见。
李善长见朱元璋亲自来，依然没做声，他还想再观察观察朱元璋。
只见朱元璋诚恳地说：“前日兵士无礼，惊扰先生，朱元璋特来赔罪。”
李善长道：“赔罪且不用，若是为赔罪，公子可回了。”
朱元璋慌忙道：“当然不是，元璋是个粗人，读书不多，如有得罪，请先生宽恕。早就知道先生的才学，元璋很钦佩，今日特来请教。”
李善长原本冰冷的脸色稍稍有了缓和，示意朱元璋在院中的石凳就座。
朱元璋则先请李善长入座，自己方才坐下。见李善长面色稍缓，说道：“元璋参军不久，定远是咱攻下的第一座城，可是咱心里很担忧。”
李善长眉头一皱问道：“公子担心何事？”
朱元璋抬头望望天空，长叹一声，遂面带忧色问李善长：“如今四方兵起，天下大乱，敢问先生何时才能太平？”
李善长说：“公子应该知道汉高祖刘邦吧？”
朱元璋歉意地笑笑说：“知道是知道，但咱读书少，读史更少，还请先生明说。”
李善长高声说道：“汉高祖也是平民出身，却能平定天下，原因在于高祖心中有大志，看得长远，知人善用。而军队纪律严明，得地克城，从不乱杀无辜，爱戴百姓，也受到百姓的拥护。高祖起兵不过五年，天下大势即见分明，成就帝业。”
朱元璋听此一番话，不禁点头称赞，仿佛受益不少。见朱元璋是明理之将，李善长心中喜悦，接着说：“如今元朝已如朽木，朝政不纲，民不聊生，已经到了土崩瓦解的时候。高祖沛县人，距濠州不远，可算是公子同乡，你若能学习汉高祖刘邦的优点，想要天下太平不会久远。”
朱元璋听了这一番话，觉得很有道理，受用不少，感慨他的军队甚至濠州，所缺少的就是这样能博古通今、出谋献策的文才。
朱元璋即行拜礼道：“多谢先生指点，元璋恳请先生和咱一起为天下百姓共谋太平之日。”
李善长大笑道：“公子勿言谢，善长一介布衣，不敢受礼。如公子能答应一事，善长可以考虑跟随之事。”
朱元璋忙说：“先生请讲。”
李善长说：“公子攻克定远的时候，得到官粮数千石，善长恳请公子用粮仓中的一半粮食救济地方百姓。”
朱元璋一时不知如何回答，神色犹豫，吞吞吐吐道：“先生要咱拿出一半官粮给百姓，这是不是太多了点？这些粮食是咱招兵买马，发展实力的基础啊。散了粮食，没了物质保障，如何能平定天下呢？”
李善长听此，笑道：“就凭你这样的想法如何能平定天下，看你也和其他义军首领无甚差别，公子请回。”说完，李善长径自走向房内。
朱元璋只好回去。一宿无眠，辗转思索。
次日清晨，天刚刚蒙蒙亮，朱元璋即到李善长家求见。
李善长正在院中读书，朱元璋听到朗朗书声，不禁止步，停在门口，李善长高声诵读的正是汉高祖刘邦的传记。直到李善长读毕一页，望见久等的朱元璋，招呼一声，朱元璋才迈入门内，行礼拜见。
李善长知道有事，故意说：“公子一大清早，赶来听善长读书吗？”
朱元璋道：“能听先生读书讲史，也是一种智趣。咱想了很久，想通了，今日即贴出布告，开仓放粮，归还百姓，全部散去，一石不留。”
李善长听此心中喜悦，笑道：“公子果然是聪明人，善长愿意为公子效绵薄之力。”
“好，太好了，有先生相助，元璋不胜感激！”朱元璋激动地对李善长再次行礼道。
李善长通过这几次观察，知道朱元璋是一个懂得用人、有礼节、能纳言的将领，见他又能爱护百姓，为大局着想，有远见，当下决定跟随朱元璋。
朱元璋又亲切地对李善长说：“先生年长，礼当位尊。今后相处，不必公子来公子去的，称咱元璋就好。元璋自先生处受益颇多，敬为师长，日后，就称先生吧。”
李善长说：“万万不可直呼公子之名啊。这军中有军中的规矩，善长以为如今公子谋划从濠州独立出来是非常正确的。公子虽实为将领，但未受封，不如称为‘上位’。这样一来，既无僭越之意，又符合实情。”
“好，先生明智，‘上位’这个称呼很有特色，听起来还蛮亲切的。”朱元璋接着说，“咱求先生，还真像当年刘备三求诸葛亮呢。咱现在还不能自比刘备，实力不足，但先生您确有诸葛亮的才能啊。”
李善长笑道：“上位过奖了，只恐怕今后的历史中，上位要比过刘备，而李善长不能相比诸葛先生啊。”
朱元璋遂说：“多谢先生。元璋虽从军不久，但也知道好的军队还要有好的参谋，如今群雄四起，成就事业并非易事。咱朱元璋一定会尽心尽力保护先生，尊重先生。在濠州的时候，咱见到的文书幕僚，都是左右逢源，多对武将不满，弄得文人和武将之间关系很差，难以配合，所以曾经辉煌的五元帅如今困在濠州城，毫无发展之力。好的将帅还要有得力的幕府和勇猛的将士，恳请先生替咱做个桥梁，沟通将士，出谋划策。”
朱元璋的诚意和对读书人的敬重，打动了这位年长朱元璋十九岁的贤士。李善长自此跟随朱元璋，受到朱元璋的礼遇，被朱元璋留做掌书记。
而在不久后，郭子兴得知朱元璋求到文才李善长的时候，用尽手段想让李善长辅佐自己，甚至强请。李善长甚是苦恼，怕因自己夹在中间，反而弄得朱元璋和郭子兴之间出现僵局，也担心朱元璋对自己有疑心，从此不再信任。
而朱元璋得知李善长被郭子兴强请进郭府以后，并未有任何疑心和不满，而是推心置腹地跟李善长谈心：“郭元帅对咱的恩情，咱永世不忘。如今，郭元帅已经对咱心存疑虑，他们父子二人留在濠州城不求发展，又惧怕咱势力增强，分裂也是早晚的事。先生对咱的指点和辅助，咱心中有数，先生的为人咱也心中有数，无论是先生跟谁，咱都敬重先生的选择。如今，咱位阶低，先生若跟随郭元帅，咱绝无怨言，如若先生信任元璋，咱感激不尽。”
听朱元璋如此申明大义之言，李善长坚决地拒绝了郭子兴，忠心耿耿地跟随朱元璋，一心一意做好朱元璋的幕府，无论是沟通将士、主帅、各方势力，还是出谋划策，都倾心尽力，使得朱元璋的军队人尽其才，内部和谐，外部周全。自此，朱元璋的心中有了汉高祖刘邦作为自己的榜样，为人处事、打仗领兵、对待百姓，处处向他学习，而朱元璋的军队也受到民众的拥戴。
李善长在朱元璋的军事和政治生涯中扮演了重要的角色。而这个角色的才华能得以施展，是因朱元璋对人才的重用和善用。