山阳渎即古邗沟，它南起邗城，北到山阳县(今江苏淮安)。邗沟初凿于春秋末年吴国，当时出于战争的临时需要，工程因陋就简，水道曲折浅涩，只通小舟，不通大船。后来，人们对它进行多次改造。其中比较重要的一次，是东汉末广陵(治所在今扬州市)太守陈登的改道，由樊梁湖往北，直至淮安入淮，改变过去绕道博芝、射阳两湖的曲折线路。这一改变奠定了后来邗沟的基本格局。隋文帝从伐陈的需要出发，又对部分渠道作了调整，将入淮水口由淤浅了的末口改到山阳。不过当时由于军事行动立即开始，来不及改造全渠。
隋炀帝为了提高山阳渎的航运能力，与通济渠配套，对这条古运河作了较为彻底的治理。在凿通济渠的同时，即大业元年(公元605年)，他又征调淮南10余万人投入这一工程。当时除了按照通济渠的标准，浚深加宽渠道，修筑道路、离宫外，又穿凿了新的入江渠口。由于长江沙洲的淤涨，原来山阳渎的入江渠口堵塞严重。这次扩建，便将南段折而向西，开了几十里的新渠，使其从扬子(江苏仪征东南)入江。这就是隋唐时期著名长江渡口扬子津。山阳渎经过这次改造后，全线畅通无阻，像龙舟那样的庞然大物，也可进退自如了。
在建成通济渠和山阳渎后的第六年，隋炀帝又下令拓展江南河。
春秋末年，太湖流域已有运河。秦始皇建立了统一国家以后，为了加强对吴中地区的控制，也为了东巡会稽(治所在今江苏苏州市，辖地有今苏南及浙江中北部)的需要，在春秋古运河的基础上加以扩建，沟通了北起丹徒(治所在今江苏省镇江市东南丹徒镇)，中经会稽郡治，南到钱塘(浙江杭州市)的水道。这应是后来江南河的雏形。据说丹徒的得名，就是因为当时有3000赭衣囚徒在此参加治河的缘故。丹徒、曲阿(治所在今江苏丹阳市)位于太湖流域西北部，这里的地势比附近其他地方稍高，因而从此经过的这段运道，河床偏高，河水不足，行船不畅。为了解决这些问题，三国、东晋时期，曾一再在此施工，如吴国疏浚丹徒——曲阿间的河床，以改善这里的航道；东晋于京口(镇江市)筑丁卯埭〔dai带〕，以控制河水泄入长江等。
在上述基础上，隋炀帝扩建了江南河。《资治通鉴·隋纪四》载：“大业六年冬十二月，敕穿江南河，自京口到余杭(今浙江杭州市)，八百余里，广十余丈，使可通龙舟，并置驿宫、草顿，欲东巡会稽。”这里的会稽，当指今浙江省绍兴市境内的会稽山，相传大禹曾会诸侯于此，千古一帝的秦始皇也曾登此山“望于南海”(实指今东海)，好大喜功的隋炀帝，大概也要效法大禹、秦皇的故事。不过隋炀帝登会稽的目的并未达到，因为下令穿凿不久，就被高丽战争和农民起义所困，再也无暇南渡长江了。但江南河的拓展，大大地推进了太湖流域航运的发展，也加强了与江、淮等地的联系。江南河至今仍是太湖流域的黄金水道。