隋朝的根基毕竟在关中地区，官也好，兵也好，关中人士都占了不小的份额。现在，隋炀帝想要去江都，那也就意味着他要放弃关中，乃至整个北方了，这对那些关中人来说意味着抛家舍业，难道他们都心甘情愿吗？当然不是。
在雁门之围刚刚解围后，老臣苏威就曾经劝说隋炀帝，赶紧回大兴城，那才是根本之地，宗庙社稷所在。现在隋炀帝准备抛弃北方，苏威难道不会力谏吗？他再也不会了，因为此时的苏威已经是泥菩萨过江——自身难保了。
从雁门回来后，苏威就跟隋炀帝产生了矛盾。大业十二年（616）四月，隋炀帝问宰相关于起义军的情况。宇文述是他最亲信的宰相，又特别擅长揣摩隋炀帝的心思，他知道隋炀帝这时候已经心灰意冷，爱听好消息，不爱听坏消息，所以赶紧说：“渐少。”起义军越来越少了。
隋炀帝一听挺高兴，又追问了一句，少了多少？
宇文述怎么回答？他说：“不能什一。”原来有十个，现在都不到一个了，减少了十分之九以上。
简直是睁眼说瞎话！苏威在一边听不下去了，又不愿意揭穿他，赶紧躲到柱子后头，希望皇帝别看到他，更别问他。问题是，他这么一躲一藏，隋炀帝反倒注意到他了，于是问他怎么看这个问题。
苏威想了想说：“臣非所司，不委多少，但患渐近。”我不是主管这件事的，不知道盗贼一共有多少，我只是担心他们越来越近了。
隋炀帝一听，赶紧问，此话怎讲？苏威说：“他日贼据长白山，今近在汜水。且往日租赋丁役，今皆何在！岂非其人皆化为盗乎！……又昔在雁门，许罢征辽，今复征发，贼何由息！”
过去盗贼是在长白山（山东），而今已经到了汜水（河南），这不是越来越近了吗？还有，我一直主管财政，就从这个角度来推测一下吧，往年咱们有多少租赋丁役，都是依据人丁征收的。可现在根本收不上来。为什么收不上来呢？还不是因为这些纳税人都成了盗贼了！
这几句话说出来，隋炀帝已经很不高兴了，可是，苏威还觉得没说够，又追加了一句：去年陛下在雁门的时候，亲口许诺不再征讨高句丽，现在又说要征发士兵讨伐辽东。要知道，这些盗贼都是因为征发辽东才造反的，陛下这样做，盗贼怎么可能平息？
苏威这番言论说得真好。既含蓄又有分量，还切中要害，老大臣一辈子的政治智慧都发挥出来了。不过忠言逆耳，隋炀帝对此作何反应呢？按照《资治通鉴》中的记载，“帝不悦而罢”。隋炀帝非常不高兴，拂袖而去了。这不就是讳疾忌医吗？这是两个人第一次起冲突。
没过几天，苏威和隋炀帝的矛盾升级了。当时是五月初五，端午节，按照习俗，大臣要给皇帝送礼。一般大臣都送的是珍玩宝器一类的东西，只有苏威送了隋炀帝一册《尚书》。众所周知，《尚书》是最早的儒家经典之一，里面记载的都是夏、商、周时期的历史事件和历史教训，特别突出仁君治民之道和贤臣事君之道，所以在古代非常受重视。苏威献这本书，虽然在节日期间似乎有点过于严肃，但是也无可非议。
问题是，苏威当时和隋炀帝已经有矛盾了，有人就在隋炀帝面前诋毁道：苏威为什么献这本书？是因为《尚书》里面有一篇《五子之歌》，是讲夏朝的君主太康的故事。太康这个人一味地游玩打猎，不理朝政，最后被后羿给驱逐了，这在历史上叫太康失国。苏威现在是故意借这篇故事来讽刺陛下！
这个谗言非常有力量，因为它恰好吻合了隋炀帝当时的处境。隋炀帝心里清楚，自己就是太康那样的人。他也害怕把国家丢掉啊！越害怕就越不愿意让人提起。现在苏威偏偏哪壶不开提哪壶，他当然更不满意了。这是第二次冲突。
没过多久，隋炀帝和苏威的矛盾再次升级。这次是因为隋炀帝又向苏威问起再次兴兵讨伐高句丽的事了。
可能很多人觉得奇怪，隋炀帝因为征讨高句丽已经惹出这么大的麻烦了，他怎么就执迷不悟，非要再打高句丽？其实，这就是隋炀帝的一个心结。他知道，自己现在面临的一切问题，诸如人民造反，国际地位下降，甚至跟大臣失和，等等，起因都在高句丽这儿，可是越是这样，他就越觉得不甘心，越觉得只要把高句丽拿下，一切问题就可以迎刃而解。所以才会像着了魔似的，非要打高句丽。
苏威是“五贵”之一，隋炀帝要打高句丽，当然得征求他的意见。按照我们之前对苏威的了解，他肯定不会认同。问题是，要怎么回复，才能让皇帝放弃这么危险的主张呢？他说：“今兹之役，愿不发兵，但赦群盗，自可得数十万。遣之东征，彼喜于免罪，争务立功，高（句）丽可灭。”陛下愿意打也可以，但是我考虑，这次打仗都不用征兵了。我们只要把群盗赦免就好了。只要一赦免群盗，立刻几十万军力就出来了。陛下赦免他们的罪过，让他们戴罪立功，他们肯定感恩戴德，奋勇争先。这样一来，就可以灭掉高句丽了。
这个回答真够用心良苦了，又顺着隋炀帝说可以打高句丽，又跟他亮明了当时天下大乱，义军蜂起的现状，希望隋炀帝能够幡然悔悟，真正考虑一下当务之急。说得婉转迂回，算是曲谏，这本来是一番好意。
不料隋炀帝一听之下，马上恼羞成怒了。他怒气冲冲地对另一个宰相裴蕴说：“老革多奸，以贼胁我！欲批其口，且复隐忍。”所谓老革，就是老皮老脸，老家伙。这个老东西，他居然敢拿所谓的盗贼来威胁我！我真想当场打他几个嘴巴，好不容易才忍了下来。
裴蕴是最会见风使舵的人，一听隋炀帝这个口风，赶紧鼓动了一个人诬告苏威，说：“威昔在高阳典选，滥授人官，畏怯突厥，请还京师。”这人一共罗列了苏威三大罪状。
第一，滥授官爵。
第二，畏惧突厥。
第三，请求皇帝回大兴城。
这简直是莫须有。苏威选官的情况今天已经不得而知，暂且不论。但是，要说畏惧突厥，雁门之围的时候，隋炀帝的眼睛都哭肿了，还有谁比他更畏惧吗？再说让皇帝回大兴城，那难道不是最好的决策吗？可是，隋炀帝才不管什么是非，真就拿这三个莫须有的罪名给苏威定罪，直接把他除名为民了！
这还不算完，紧接着，又有人落井下石，控告苏威勾结突厥，隋炀帝又让裴蕴立案侦查，裴蕴倒干脆，直接给判了个死刑。如前所述，苏威是个比较软弱的人，这时候已经八十多岁了，但是，为了活命，也只好叩头告饶，请求隋炀帝看在自己侍奉两朝三十多年的份儿上饶他一命。
隋炀帝看他实在可怜，也就饶了他这一回。但代价是把他本人还有子孙三代全都除名为民，这样他就再也不能对政治发表意见了。
为什么在这样重要的历史节点上长篇大论地讲苏威的问题？不光是因为苏威头脑清醒，能给隋炀帝出好主意，还因为他是当时关陇贵族集团的政治代表，也是唯一有可能反对隋炀帝下江都的人。
前文提到，隋炀帝后期，在政治上有发言权的，就是所谓“五贵”。“五贵”里头，裴蕴和虞世基是南方人，隋炀帝到南方，对他们来讲差不多就是恢复陈朝的局面，他们自然不反对；裴矩是北齐人，属于北方，但他基本上就是一个国际问题专家，其他事情不大参与意见。而宇文述虽然也是关陇贵族集团成员，但从他的所作所为来看，他更像一个佞臣，只知道讨好隋炀帝，根本没有自己的政治立场和原则。
这样一来，真正有头脑，能代表关陇贵族利益，代表北方利益，其实在这一刻也代表国家利益的宰相只有苏威了。现在苏威被除名为民，在决策层里，隋炀帝下江都也就再无阻碍。