隋初定都长安。公元604年，杨广杀其父隋文帝夺取皇位，他便是历史上以骄奢著称的隋炀帝。他认为关中与山东、江南、河北等地，道路遐远，“兵不赴急”，应将都城东迁，于是立即下诏营建东都洛阳。接着，又陆续发令穿凿以东都为中心、通向江淮、河北等地的大运河，以加强对这些主要经济区的联系和控制。
最先穿凿的是通济渠，凿于隋炀帝大业元年(公元605年)。通济渠可分西、中、东三段。西段以东都洛阳为起点，以洛水及其支流谷水为水源，在旧有渠道阳渠和自然水道洛水的基础上扩展而成，到洛口与黄河会合。由于古阳渠又称通济渠，人们就把这一名称由西段扩大到了中段和东段。中段以黄河边上的板渚(河南荥阳西部)为起点，引黄河水作水源，向东到浚仪(河南开封市)。这一段原是汴渠上游，隋朝加以浚深和拓宽。浚仪以下，与汴渠分流，东南走向，经宋城(今河南商丘县南)、永城、夏丘(今安徽泗县)等地，到睢眙注入淮水。这是东段，多由自然水道拓展而成。
当时，浚仪以下所以不再利用汴河旧道而另开新渠，与如下一些因素有关。汴河东段的位置偏北偏东，隋炀帝南巡江都，南粮北运进京，都过于绕远。况且从汴河入淮，必须取道泗水，而泗水航道曲折，又有徐州洪、吕梁洪之险，二洪“悬水三十仞，流沫九十里”(《水经注·泗水注》)，经常翻舟，航行很不安全。这是一方面。另一方面，浚仪到睢眙，地势比较平缓，河床比降适度；同时，经此而接邗沟，与经汴相比，航程也缩短许多。再加上当时河淮之间经济比较发达，是全国户口最密集的地区之一，为加强东都与这里的联系，也需凿渠穿行这里。
通济渠三段全长近2000里。它不仅渠道长，而且因为要航行皇帝的龙舟，龙舟长200尺，上建四层重殿，高45尺，所以必须凿得又宽又深。深度多少，不见记载，宽度规定为40步。隋朝一步六尺，即渠宽为240尺，宛如一条大河。此外，通济渠还有一批附属工程，如夹渠修筑平整的御道，以便数十万纤夫和军队行走；沿途修建数十座离宫，以便皇帝和后妃休息。整个工程由尚书右丞皇甫议负责，“发河南、淮北诸郡男女百余万”(《资治通鉴·隋纪四》)服役。大业元年(公元605年)三月动工，到八月便交付使用。当时隋炀帝立刻从洛口登上龙舟，带着后妃、王公、百官，乘坐几千艘舳舻〔zhulu逐卢〕，浩浩荡荡，南巡江都(图2)。
通济渠工程浩大，施工时间仅用半年，可以说是古今中外运河史上的奇迹，它反映了我们祖先无与伦比的创造力。当然，他们付出的代价也是非常惊人的，由于凿渠和造船劳累过度，据《隋书·炀帝纪》载，“役丁死者十四五”！即约有40—50万人为此献出了宝贵的生命。
图2 帝王游幸龙舟
通济渠凿成后，它与邗沟便成为黄河、淮河、长江三大流域的交通大动脉，南来北往的舟楫多走这一水道。特别是它对南粮北运，意义更为重大。隋炀帝在洛阳周围建有许多大型粮仓，如洛口仓(又名兴洛仓)、回洛仓、河阳仓、含嘉仓等，这些仓城都储有大量粮食，其中洛口、回洛两仓，即多达2600多万石，它们中的绝大部分，便是经通济渠从江淮一带运来的。