自南宋初年，杜充决黄河阻金兵南下起，黄河下游南迁，循泗、淮水道入海。元、明两代的南北大运河，从徐州茶城到淮安一段，便利用河淮水道作为运道，人称“河运合槽”或“河淮运合槽”。它长约500里。黄、淮水量丰富，在一般情况下，运道无缺水之患。但黄河多沙，汛期又多洪灾，也严重威胁航运。人们认为黄河对于运河，既有大利，也有大害，有“利运道者莫大于黄河，害运道者亦莫大于黄河”的说法。但自元、明以来，黄河下游由于南迁日久，河床泥沙淤积与日俱增，决口频仍，对于运河，发展到了害大于利的地步。于是，从明朝中后期到清初，人们竭力设法变“河运合槽”为“河运分立”，在淮北地区，陆续穿凿了一批运河新道，甚至将会通河南段的部分运道，也予以放弃。
最早在淮北开的一条新河叫夏镇新河。嘉靖五年(公元1526年)，黄河在鲁西曹县、单县等地决口，冲毁了昭阳湖以西一段运河。南北漕运被阻，明朝遂决定穿凿新河。嘉靖七年(公元1528年)，以盛应期为总河都御史，征集近10万夫役穿凿。工程过半，由于盛氏督工太急，怨声四起，又值大旱成灾，为防止爆发变乱，中途停工，只好草率修复旧道，勉强通航。嘉靖四十四年(公元1565年)，黄河又在江苏丰县、沛县决口，昭阳湖以西一段运道堵塞更甚。第二年，遂再度兴工，穿凿新河，由工部尚书朱衡主持，嘉靖四十六年(公元1567年)完工。这段新河，北起南阳湖南面的南阳镇，经夏镇(今微山县治所)到留城(已陷入微山湖中)，长140里，史称夏镇新河或南阳新河。旧河在昭阳湖西，原属会通河南段，易受黄河泛滥冲击。新河在湖东，有湖泊可容纳黄河来水，比较安全(图3)。
继夏镇新河之后开的另一条新河叫泇〔jia加〕河运河。隆庆三年(公元1569年)，黄河决沛县，徐州以北运道被堵，粮船2000多艘阻于邳州(治所在今睢宁西北)。开泇河的建议遂提出，但未被朝廷采纳。几十年后，黄河在山东西南和江苏西北一带再度决口、泛滥加剧，徐州洪、吕梁洪等河段屡屡断水，情况非常严重。于是，在主管工程的官员杨一魁、刘东星、李化龙等人相继主持下，除治理黄河外，又于微山湖的东面和东南面，穿凿新河，经过多年断断续续施工，到万历三十二年(公元1604年)，全部完工。它北起夏镇，接夏镇新河，沿途纳彭河、东西泇河等水，南到直河口(江苏宿迁西北)入黄河，长260里。它比旧河顺直，又无徐州、吕梁二洪之险，再加上位于微山湖东南，黄河洪水的威胁较小，所以它的穿凿，进一步改善了南北水运。由于它以东、西两泇河为主要补充水源，故名泇河运河。
图3 徐州运道的黄、运分立
最后，在明末清初，又穿通济新河和中河。泇河运河峻工后，从直河口到清江浦(今清江市)一段运道约180里，仍然河运合槽，运河并未彻底摆脱黄河洪水和泥沙的威胁。因而河运分离的工程继续进行，又相继穿凿通济新河和中河。前者凿于明朝天启三年(公元1623年)，西北起直河口附近接泇河运河，东南至宿迁，长57里。后者是在清朝初年著名治河专家靳辅、陈潢擘〔bo檗〕划下修建的。康熙二十五年(公元1686年)动工，两年后基本凿成，后来又作了一些补苴〔ju居〕。它上接通济新河，下到杨庄(在清江市境)。杨庄与南河北口隔河相望，舟船穿过黄河，便可进入南河。至此，河运分离工程全部告成。
河运分离工程是明朝后期到清朝前期治理运河的主要工程之一，它的完工，使淮北地区的运河基本上摆脱了黄河的干扰，保证了运河的正常航行。