中原野战军东进之后如何打，这早在东进之前就已经做好了认真的准备。
这时在徐州正西边的国民党军队是位于陇海线上的二兵团，即邱清泉兵团，以砀山为中心。在徐州西南边的是十六兵团，即孙元良兵团，以蒙城为中心。但是，根据以大规模歼灭敌人有生力量为主的作战方针，中原野战军并没有把这两个兵团作为自己的主要目标。毛泽东早在10月23日的电报中就已指出，中野东进之后的第一个目标是歼灭孙元良，第二个目标是攻取宿县。由于孙元良在宿县之西，所以打孙元良是次要的，主要的是为了攻取宿县。
为什么要把宿县作为首要目标？因为宿县在津浦路上，位于徐州的正南方，宿县的南边是蚌埠，蚌埠的南边就是南京。宿县的东西南北都有国民党军队的重兵，如果我军以突击的方式打下宿县，一则就切断了徐州和蚌埠、南京的联系，也就是切断了徐州和国民党老巢的联系，使徐州地区的敌人既不可能再得到南京方面通过津浦路运送的任何补给，也不可能由津浦路南逃，完全处于我军的包围和打击之下，这就为我军对徐州的几十万敌人予以全歼创造了有利的条件。二则宿县位于徐州地区国民党几十万大军的中部，我军攻占了宿县，就有如中心开花，可以打乱敌人相互之间的联系和配合。这一着，在古代拳师的术语中叫做“黑虎掏心”。打宿县，是毛泽东曾经称之为淮海战役总方针的“隔断徐、蚌，歼灭刘峙主力”中的重要一环。
中原野战军的几位领导人都同意先从中间突破，打乱敌人的全局部署这种打法。
11月2日，还在豫西的刘伯承、邓子恢、李达在给军委并同时也给陈毅、邓小平的电报中说：“应力求首先切断徐、宿铁路，造成隔断孙兵团、会攻徐州之势。”
11月5日，陈毅、邓小平发现敌第四绥靖区的一八一师在商丘东南的张公店，立即将其解决，歼敌5000余人，活捉敌中将副司令米文和。
11月8日，攻克砀山（此时原来驻在砀山的邱清泉兵团刚开始向东开进去援救黄百韬，就在砀山以东的黄口），威逼徐州。其实，逼徐州是做给刘峙看的假象。因为毛泽东在11月9日给陈、邓的电报中就明确指示：“直接指挥各部，包括一、三、四、九纵，应直出宿县，切断宿蚌路，四纵不应在黄口附近打邱清泉，而应迅速攻宿县，一纵在解决一八一师后，应立即去宿县。”两天以后，毛泽东再次在电报中指示陈、邓：“以宿县为中心，控制整个徐蚌线，构筑几道防线，阻止徐敌南逃，待其南逃时，协同华野全歼徐敌。但应同时注意对黄百韬溃兵的堵击。”毛泽东特别指示：“此时我军愈坚决，愈大胆，就愈能胜利。”
为了完成中央军委确定的“隔断徐、蚌，歼灭刘峙主力”的任务，陈毅和邓小平从商丘的朱口经柘城到达徐州西南永城的临涣集，将指挥部设在临涣集的文昌宫。刘伯承也星夜从豫西赶到永城与陈毅和邓小平会合。
11月11日，刘伯承、陈毅和邓小平在临涣集召集中原野战军一纵司令员杨勇、三纵司令员陈锡联、四纵司令员陈赓、九纵司令员秦基伟开会，布置任务。邓小平说：
切断徐蚌线，占领宿县，可以北拒徐州，堵住徐州之敌南逃的后路；可以南阻蚌埠，斩断南线敌人北援的交通；制止孙元良兵团东援，夹住黄维兵团北上，黄百韬兵团只有束手待歼，蒋介石称为生命线的津浦路就要切断了。为了这个目的，在淮海战场上，只要歼灭了敌人南线主力，中野就是打光了，全国各路解放军还可以取得全国胜利，这个代价是值得的。
宿县素有“南徐州”之称，高而厚的城墙上可以并行两辆汽车，城外又有宽而深的城壕，再加上近年来修筑的防御工事，攻城并不容易。
守军的主力是敌二十五军一四八师，外加两个交警总队、一个装甲营、一个军官补训队，部队总人数虽然不多，但是装备相当好，战斗力并不弱。陈毅和邓小平派出攻打宿县的主要部队是陈锡联的三纵和秦基伟的九纵。中野四纵和已在商丘地区的华野三纵与两广纵队由北直插徐州和宿县之间，从南面逼近徐州。中野一纵则进入宿县以西地区，作为战略总预备队，同时监视向东来的黄维兵团。中野总部还决定，攻城之战由陈锡联统一指挥。
陈锡联带领中野三纵通过长途奔袭，在离开指挥部的第二天就到达宿县，两天时间就清扫了外围，占领了车站，将宿县包围起来。陈赓率领的四纵也在这天赶到了徐州以南的曹村，而且消灭了正由宿县向徐州靠近的孙元良兵团后卫部队第四十一军军部和一二二师的3400余人，切断了徐州和宿县之间的联系，并对徐州形成了威逼之势。徐州城中的刘峙以为我军要进攻徐州，急忙命令邱清泉派出了两个师的兵力，企图把我军赶走。可是连续发动了十余次进攻，我四纵仍然牢牢地守卫在徐州以南的阵地上，对于攻打宿县的部队起到了很好的掩护作用。
要说打宿县，对于中野的两个主力纵队来说，并不是什么难事，麻烦的是缺少重炮。中野主力都是春天才从大别山中出来的，当年为了千里跃进大别山的需要，把手中的重型武器都丢了。出大别山之后，打的大仗还不多，蒋介石这个运输大队长送过来的重炮也还没有能够收到多少。在这种情况下，攻打宿县这样有坚固工事的古城，就主要靠派出爆破组用炸药爆破，这样打，牺牲较大，进展则较慢。陈锡联只能一方面调集自己手中的山炮、野炮和榴弹炮，一方面布置组织爆破。这时陈毅特地从华东野战军调来了8门榴弹炮，大大增强了攻城力量。
11月15日，在陈锡联的指挥下，攻城部队发起了总攻。三纵的七旅打东门、八旅打北门、九旅打西门，三纵副司令员刘昌毅负责第一线的指挥。当30门重型火炮一阵猛轰之后，攻城部队冲了上去。先是在城壕上强行架桥越壕，然后进行城下的连续爆破，突入城后与敌人进行逐街争夺。仅用了10个小时，中野就拿下了重要的战略据点“南徐州”宿县，歼敌一四八师和交警第十六总队一万余人，生擒敌津浦路护路总司令部副司令兼宿县城防司令张绩武。
在中野三纵攻下宿县的同时，中野九纵和豫皖苏军区的独立旅攻占了蚌埠以北的固镇。这样，从曹村到固镇之间近150公里的津浦路完全被我控制，徐蚌线被我完全切断，徐州之敌被完全孤立。
对于攻宿县这一战，从豫西赶到临涣集的刘伯承十分满意，他高度称赞这种“黑虎掏心”式的打法，他说：
这样一来，淮海战场上敌人的七个兵团被分割成四坨，徐州“剿总”完全陷入战略围剿之中。徐、蚌首尾不能相顾，这对歼灭黄百韬兵团，创造了极为有利的条件。