隋炀帝在南征陈朝的时候，就对江南风物十分欣赏。接着来他又做了九年扬州总管。扬州在隋唐两代十分繁华，号称“人生只合扬州死”。后来更有“腰缠十万贯，骑鹤下扬州”的说法，把到扬州与当大富翁和做神仙相提并论，可见扬州城的魅力之大。隋炀帝在这样的锦绣风流之地，自然是十分沉迷。后来，他当了皇帝，依然很怀念在扬州的日子，连看到宫中挂着描绘扬州的图画，都注目久之，流连不已。于是，皇帝决定，要再去扬州一趟。
但他现在是皇帝了，想去扬州就不可能像当王爷那样轻车简从。而且隋炀帝还很喜欢摆排场，要带上百官、嫔妃、随行伺候的宫奴侍女……浩浩荡荡的一大队人马。这么多人一起随他南下，绝对是一桩浩大工程，远远超出了当时社会的承载能力。但隋炀帝一心认为天下大定，繁荣富庶，怎么会被这点小小的难处挡住，就从大业元年（605年）开始，下令开掘前所未有的巨大工程——大运河。
这便是历史上有名的京杭大运河。大致分为以下几个部分：从洛阳西苑到淮河南岸的山阳（今江苏淮安），叫做“通济渠”；从山阳到江都（今江苏扬州），疏通了春秋时期吴王夫差开的“邗沟”；这样一来，从洛阳到江南的水路交通就十分便利了。从洛阳的黄河北岸到涿郡（今北京），叫做“永济渠”；从江都对面的京口到余杭（今浙江杭州），叫做“江南河”的运河。这四条运河连接起来，就成了一条贯通南北的大运河。当时为了加快工期，便大征民夫，所用人力无数，据史载，一共动用了五百四十三万多人。主管修河的是酷吏麻叔谋，强制天下15岁以上的丁男都要服役，又从五家抽一人，或老，或少，或女子，担负供应民工的伙食炊事。还派出了五万名彪形大汉，各执刑杖，作为督促民工劳动的监工。因为劳动负担很重，监工督责太急，动不动就用棍棒毒打，所以当工程只进行到徐州时，就已经有一百五十万人因劳累过度而死。据记载东自荥阳，北到河阳，一眼望去，全是载死人的运尸车，恐怖万状。而且，这个麻叔谋还有一个可怕的癖好，爱吃人肉，而且专吃小孩儿。因为他长相丑陋，生着满脸骇人的胡须，所以被人称为“麻胡”。后来民间吓唬小孩子就说：“麻胡子来了。”一直到现在有些地方还是这样。整个大运河的工程前后历时六年之多，耗费人力财力无数。这大笔的金钱，又转化为更繁重的租税。百姓身强体壮的去开掘运河，年老体弱的在家养家糊口都难，还要承担不断增加名目的苛捐杂税，全国怨声载道。
但这些事情是不会被隋炀帝放在心上的，大业元年八月，他不等运河全部完工，就从洛阳出发，坐龙舟前往扬州。船队规模浩大。隋炀帝的龙舟高四十五尺，宽五十尺，长二百尺。分为四重，上重为正殿、内殿和东西朝堂，中间二重共计一百六十房，都饰以金玉，雕刻花纹，下重居住宦官和内侍。龙舟有挽船人一千零八十人用青丝大绦绳牵引前进，都穿着锦彩衣袍，号称“殿脚”。皇后坐的船叫翔螭舟，比龙舟稍小但装饰相同，用殿脚九百人引进。嫔妃乘坐的是浮景舟，共有九艘，每艘用殿脚二百人。贵人、美人和十六院妃子所乘的船叫漾彩舟，共有三十六艘，每艘殿脚一百人。此外，还有各式各样的华丽大船上千艘，上面坐着宫人，诸王公主，僧尼道士，各国使者，宫廷卫士，总计用殿脚八百多人。这支浩浩荡荡的船队，在运河中航行的时候首尾相接，前后长达二百多里。两岸又有二十万骑兵护送，马蹄杂沓，旌旗蔽空。隋炀帝的龙舟已出发五十多天，随从的船只才刚刚离开洛阳。一路上，所过州县，五百里内都要供奉食物，称为“献食”。当地官吏自然不会放弃这个拍马屁的好机会，就争相进献，多的甚至达到一州数百车，都是水陆珍奇，美味佳肴。这么多东西，隋炀帝一行哪里吃得完，就把剩下的统统倒掉。这般靡费，最后却都要转嫁到老百姓头上，虽然隋炀帝假惺惺地免除了扬州五年的赋税，但他这一番巡游给当地百姓带来的困扰，可比那区区几年赋税大多了。
到得扬州，皇帝自然要大肆玩乐。他嫌当地的宫室太过轩敞，缺乏逶迤曲折之趣，就在观音山上建了一座新楼，把国库里的银子花了个精光。此楼布局别致，精巧无比。从外面远望，楼阁参差，轩窗玲珑，或是斜露出几曲朱栏，或是掩映着一帘绣幕，装饰着金银珠玉，光华夺目，与日影相斗生辉。等进入门内，只见当中一座正殿，画栋雕梁，奢靡富丽，却也寻常。巧妙之处乃在楼上，其中幽房密室，错杂相间，令人接应不暇。而且万折千回，前遮后映，重门复户，巧合回环，明明是在前轩，几个转弯，竟在后院；明明是在外廊，约加环绕，已在内房。步步引入胜境，处处匪夷所思。就连皇帝自己，也差点不知身在何处，东探西望，左顾右盼，累得目眩神迷，不禁赞叹道：“此楼曲折迷离，就是仙人游在其中，也会迷路。就叫做‘迷楼’吧。”
有了绝妙的“迷楼”，隋炀帝就可以安享扬州的美景和美人了。他在迷楼上设了四副宝帐，分别称为：散春愁、醉忘归、夜酣香、延秋月。接着诏选良家女子数千，住在迷楼中，用他那“任意车”来任意和她们取乐。还令画工绘制男女交合图数十幅悬在阁中。又铸了乌铜屏风数十面，把表面磨得如镜子一般闪亮，环绕在床榻边。于是隋炀帝在和美人们颠鸾倒凤之际，身影就纤毫不漏地映在屏风上。他十分高兴，觉得这样的“真容”可比绘画强多了。不过皇帝日日与诸女周旋，身体慢慢地就有些吃不消了。他对近侍说：“朕还记得登极的时候，十分辛苦却不瞌睡，只有枕在妇人腿上，才能合目。如今却一睡下就醒不来，一近女色就疲倦，这是为什么？”近侍劝他少近声色，保养身体。说得皇帝连连点头，第二天在后宫选了一间静室养身，宫女皆不得进入。可才过了一天，隋炀帝就忿然出来，还说：“像这样活一千万岁又有什么意思呢？”又进迷楼纵情享乐去了。
不过扬州虽然美景怡人，美人秀媚，但它最负盛名的名胜，却是那号称“天下无双独此花”的琼花。这琼花的来历也颇不寻常，据传是仙人种下的美玉所生，所以被叫做“琼花”，“琼”，就是美玉的意思。这花“俪靓容于茉莉，笑玫瑰于尘凡，惟水仙可并其幽闲，而江梅似同其清淑”，真是仙姿玉骨，卓然不群，而且更为特殊的是天下只有一棵，就在扬州的后土庙。很多人慕于盛名，纷纷移栽，却怎么也成活不了。这样，尽管隋炀帝是大隋天子，几乎无所不能，可他想要看这琼花，也得亲自跑到扬州来。但是天公不作美，隋炀帝劳心费力，开凿了大运河，搅得天下骚然，百姓怨愤，好不容易到了扬州，那琼花竟然叫一阵冰雹给打得七零八落，一朵不剩。于是皇帝大怒，下令把琼花树砍断。可琼花虽被毁，隋炀帝不久也被弑而终，隋朝灭亡。于是人们就传说隋炀帝都是因为要看琼花才开凿运河，导致亡国的。
这个故事不见正史记载，只出自明人关于隋炀帝的小说中，也不过是一种民间传说而已，并非史实。隋朝的灭亡固然和隋炀帝开凿运河，三下扬州而滥用民力，横征暴敛有关，但大运河的修建，却不能说是亡国之举。唐人有诗：“尽道隋亡为此河，至今千里赖通波。若无水殿龙舟事，共禹论功不较多。”可见其对于加强都城与南北的联系，巩固统一，促进经济文化交流的重要性，只可惜隋炀帝的本意却并不在此，他只不过是为了自己游玩得更加舒服罢了。所以因为这“水殿龙舟事”，让大运河也跟着背上了亡国的骂名，倒是很冤枉的。