大都一带的对外水上交通，古已有之。隋朝有永济渠。不过，永济渠的北段主要由桑干水改造而成。桑干水的河道摆动频繁，历史上又有无定河之名，清朝康熙帝期望它不再改道，才命名为永定河。唐朝的某个时候(史文没有记下具体年代)，由于桑干水的改道，永济渠已经通不到涿郡了。金朝，中都(今北京市)有一条名叫“闸河”的人工河道，由都城东到潞河，可以漕粮。金后期，迫于蒙古汗国的威胁，迁都洛阳，闸河逐渐淤塞。
元朝初年，为了解决大都——通州间的粮运问题，在至元十六年(公元1279年)，采纳郭守敬的建议，在旧水道的基础上，拓建成一条重要的运粮渠道，叫阜通河。阜通河以玉泉水为主要水源，向东引入大都，注于积水潭。再从潭的北侧导出，向东从光熙门南面出城，接通州境内的温榆河。温榆河下通白河(北运河)。玉泉水的水量太少，必须严防泄水。运河河道比降太大，沿河必须设闸调整。为了上述两个目的，郭守敬于40多里长的运河沿线，修建了七座水坝，人称“阜通七坝”。阜通七坝闻名大都，民间则称这条运河为坝河。坝河的年运输能力约为100万石上下，在元朝，它与稍后修建的通惠河，共同承担由通州运粮进京的任务。
元朝初年，在大都除凿坝河外，还凿了一条名叫金口河的运道。金口河初开于金，后来堵塞。元朝在郭守敬主持下，于至元三年(公元1266年)重开。它以桑干水为水源，从麻峪村(在今石景山区)附近引水东流，经大都城南面，到通州东南的李二村与潞河会合。这是一条从营建大都的需要出发，以输送西山木石等建筑材料为主的水道。由于金口河的比降更大，流水湍急，河岸常被冲塌；又由于桑干水泛滥时有可能循金口河东下，危及大都的安全，后来郭守敬又将它堵塞。
起初，元朝南粮运输入都，虽然实行海运、河运并举，由于海运属初创，船小道远，运量不算太大；而河运又有黄河、御河间一段陆运的限制，运量很少。两路运到通州的粮食总计才100多万石，由通州转运入京的任务，坝河基本上可以承担。但后来，因为海运不断改进，采用可装万石的巨舶运粮，也摸索出比较径直的海道，再加上济州、会通两河的穿凿，漕粮的数量又逐步增加。这样，大都、通州之间，仅靠坝河转运，就比较困难了，于是有第二条水运粮道通惠河的穿凿。
至元二十九年(公元1292年)，新河工程正式开工，以都水监郭守敬主其事。开拓水源是兴建这条运河的关键。郭守敬通过实地勘查，知道大都西北山麓，山溪泉水很多，只要将它们汇集起来，新河的水源问题，便可基本解决。于是，他从昌平县的白浮村起，沿山麓、按地势向南穿渠。它大致说与今天的京密水渠并行，沿途拦截神山泉(白浮泉)、双塔河、榆河、一亩泉、玉泉等，汇集于瓮山泊(昆明湖)。瓮山泊以下，利用玉河(南长河)河道，从和义门(今西直门)北面入城，注于积水潭。以上这两段水道是新河的集水和引水渠道。瓮山泊和积水潭是新河的水柜。集水渠和水柜为新河提供了比较稳定的水量。
积水潭以下为航道，它的径行路线为，从潭东曲折斜行到皇城东北角，再折而南下，沿皇城根径直出南城，沿金代的闸河故道向东，到高丽庄(通县张家湾西北)附近，与白河会合。从大都到通县一段，为了克服河床比降太大和防止河水流失，修建了11组复闸，有坝闸24座，并且派遣闸夫、军户管理。这些坝闸，起初为非永久性工程，用木料制作，后来改成永久性的砖石结构。
由引水段和航运段组成的这条新河共长160多里。经过一年多的施工，主体工程建成。它被忽必烈命名为通惠河。通惠河的建成，大都的粮运问题基本解决。积水潭成为重要的港口，“舳舻蔽水”，盛况空前。