8月12日，陈赓兵团所属各部，分别从驻地出动，开始了伟大的南征进军。
这是许久以来全军一致盼望的日子。进军命令下达的时候，一个个都为行将到来的胜利的喜悦所鼓舞。
晋冀鲁豫解放区人民全力支援大军南征，太行600万人民送给第9纵队的红旗上，写着太行人民引以为荣的壮语：“太行子弟结长缨，跨河南征缚苍龙。”当向解放区父老告别的时候，全体指战员对于在这里成长壮大的土地，对于一同战斗过来、血肉相连的人民，都怀着无限眷恋，依依惜别之情。
部队行军途中，正逢阴雨连绵的季节，遍山满谷弥漫着云雾，所有河流都泛滥着洪水，部队经常在暴风骤雨中踏着泥泞的山路前进，一个个被淋得像落汤鸡一般。到了夜晚，山巅、村边、道旁，到处燃烧起一堆堆烘烤衣服的篝火。这些烽火会聚成巨大的光辉，像在漆黑的夜幕边际出现曙色。当它被远远地留在背后的时候，遥望更加美丽，恍若传说中的神话世界。
不论是铺天盖地的倾盆大雨，或是蜿蜒崎岖的羊肠小道，都挡不住千军万马的伟大进军。8月20日左右，东路部队如期进抵济源长泉渡口附近，西线我军也按时到达平陆茅津渡口附近地区集结，控制了郑州、潼关间黄河北岸330里沿线地区，积极进行强渡黄河的最后准备。
在渡河作战发起前夕，西北野战军于榆林战役后，8月20日又在陕北沙家店歼灭了胡宗南主力部队第36师，使胡宗南集团深陷在米脂以北地区，饥疲不堪。刘邓主力跃进大别山的行动，调动了敌顾祝同主力20多个旅向南堵追。这就使敌顾、胡两个集团的主力无暇顾及豫西、陕南地区。在我突击地段潼关至洛阳之间，敌人仅以5个保安团，沿黄河南岸孟津至潼关段500余里正面担任第一线防御，以整15师、青年军第206师、第76师的新1旅（原第75旅）等部署于洛阳、陕县、灵宝、潼关之间，依托铁路进行机动防御；陇海路以南广大地区，只有保安团队守备。该地段黄河北岸都是山地，便于隐蔽行动和进行各种准备，群众条件也好，这些情况给我军渡河作战提供了良好的时机和条件。同时也有利于我军渡河后乘虚而入，放手发展，寻机歼敌，创建根据地。
据此，陈赓指示司令部制订了这次行动的作战方案：以第4纵队的4个旅为左纵队，在垣曲，济源间的官渡至青河口，和大教至马湾的两个地段上渡河（以第10、11旅为左路：第10旅担负渡河突击，第12旅为预备队，在官渡青河口实施南渡；以第13旅、12旅为右路：第13旅担负渡河突击，第12旅为预备队，在大教至马湾实施强渡），而后，以主力迅速向陇海路突击，攻占新安、渑池，并相机夺取洛阳。以第38军和第22旅为右纵队，在茅津渡以东渡河，而后以一部向东奔袭张茅镇和观音堂车站，策应左纵队作战，其主力向西南发展，威迫陕县，并向西迂回大营车站，切断灵宝、陕县间敌人的联系，抗击牵制由陕西东援的敌人。以第9纵队为兵团第2梯队，尾第4纵队渡河，而后主力向东南发展，牵制郑州之敌西援。为了保障陈赓兵团胜利渡河，太岳军区以第23旅及各分区的基干武装，积极向临汾南北、同蒲沿线的敌人展开攻势，迷惑牵制敌人，配合主力行动。