大军集结完毕，刘秀亲自修书隗嚣，再次命隗嚣对伐蜀一事表态。
大兵虽已压境，隗嚣仍继续推诿，回书刘秀道：“白水险阻，栈阁败绝。”
要想从陆路攻打蜀国，只有两条路可以选择。
一是从关中西行，取道天水，从而绕过秦岭，南行涉过白水，直逼武都。这条路尽管绕远，然而道路平坦，运输便捷，适合大军稳步推进。
二是走栈阁（即栈道），或从褒斜谷，或从子午谷，直接穿越秦岭，进入汉中。这条路尽管属于捷径，然而穿山越谷，沿栈道而行，路途极其艰险，只适合奇兵突袭，而不便大军运动。
隗嚣的回书虽然只有八个字，但却把这两条路全给堵死，走天水大路吧，有白水险阻；走穿山小道吧，栈阁又年久失修。两条路都行不得也，要不，您老人家飞着去？
刘秀强忍怒火，命来歙出使隗嚣，再作最后之争取。
来歙面见隗嚣，以老友的身份，苦劝隗嚣出兵击蜀。隗嚣抓耳挠腮，长吁短叹，一味背诗：“噫吁嚱，危乎高哉！蜀道之难，难于上青天！……其险也如此，嗟尔远道之人，胡为乎来哉？”
来歙费尽口舌，隗嚣只是不肯，来歙无奈之下，退而求其次，道：“皇帝御驾亲征，大军云集，绝无空手而返之理，总之，蜀国非伐不可。隗兄如果觉得出兵实在为难，我也不便强求，只向隗兄借道天水，使大军得以通过即可。”
隗嚣心想，借道应该问题不大，就让刘秀远道伐蜀，和公孙述拼个两败俱伤，他则在一旁坐收渔翁之利。然而终究不放心，于是召集众武将商议。
王元一听，厉声道：“来歙所言，包藏祸心，大王万万不可听信！”
隗嚣大惊，问道：“何以言此？”
王元道：“此乃假途灭虢之计，刘秀借道是假，趁机吞并陇西、天水是真。”
隗嚣一身冷汗，道：“幸得王将军提醒。”回见来歙，推辞抵赖，道，“天水连日山洪，道路不通，要不，等我把路修好了，再迎接朝廷大军不迟。”
来歙见隗嚣当面扯谎，勃然大怒，拍案而起，指着隗嚣的鼻子大骂：“叫你出兵不肯，问你借道又不肯，那你是要反叛了！别忘了，你儿子还在洛阳！别忘了，朝廷百战雄师，远非你能抵挡！”
隗嚣就纳闷了，这明明是在他的地盘，来歙怎敢如此嚣张？隗嚣不放心，拽住一旁陪酒的侍女，问道：“这是我的地盘吗？”
侍女甜甜一笑，道：“是的，大王。”
隗嚣这才笃定起来，身子往后一仰，笑望来歙，道：“讲，接着讲。”
来歙更怒，愤而拔剑，砍向隗嚣。隗嚣虽然跛足，反应却是奇快，抽身而退。来歙一剑斩空，只切下隗嚣的衣袖。隗嚣碎步急迈，只听嗖嗖几声，已是人影全无。
来歙一击不中，知道不会再有第二次机会，徐徐收剑入鞘，并不再追。
隗嚣去而复返，随身跟着数十护卫。隗嚣犹自惊魂未定，指着来歙，道：“你我多年好友，如今你竟要杀我？”
来歙身陷众围，毫不惊慌，答道：“若非念及朋友之情，我才懒得杀你。”
隗嚣冷笑道：“如此说来，你杀我，居然还是为了我好？”
来歙怒道：“那是当然！你枉为长安三杰，却竟如此不晓事！身为多年好友，我岂能坐视你起兵反叛，然后身败名裂，被皇帝诛灭九族？我只杀你一人，杀完我陪你同死，如此便可以替你保全隗氏家族，朋友之道，岂不在此乎！”
隗嚣也恼怒起来，冷笑道：“好，你既以朋友自居，那又为何背着我交结郑兴、申屠刚、杜林等人？郑兴等人叛我而去，你敢说和你全无关系？离我党，剪我翼，你这也是朋友之道？”
来歙怒道：“你意欲割据，不惜抗命朝廷，引火烧身。君子不立危墙之下，郑兴等人离你而去，不亦宜乎？何得诬我？来某生平行事，无一件不可告人！”
来歙慷慨而言，有凛然不可夺之威。隗嚣为之气沮，一时竟不能言语。
来歙拿起节杖，旁若无人地慢慢走向门口。隗嚣望着来歙，手按剑柄，握了又握，还是没能下手。
直到来歙出门上了马车，缓驰而去，隗嚣这才如梦方醒：咦，好你个来歙，把我这当什么地方了？
隗嚣盛怒之下，调集重兵，将来歙围困于驿馆。王元趁机劝杀，隗嚣意动，王遵见状大急，连呼不可。
隗嚣怒问道：“为何不可？”
王遵道：“自古列国交兵，不杀来使。来歙乃皇帝之表兄，更非寻常使节可比。杀来歙很容易，然而杀了于朝廷无损，大王却因此身背灭族重罪。更何况，来歙的性命虽然操于大王手中，而大王长子隗恂的性命，却同样也操于朝廷手中。昔日宋执楚使，遂有析骸易子之祸。小国犹不可辱，况于万乘之主！”
来歙出使陇西多年，言行不违，信义昭著，甚得当地士大夫敬重。闻听来歙被围，一时求情者众多。
隗嚣怒气渐平，顾及名士之风，念及朋友之义，于是解围而去。来歙心知多留无益，也不和隗嚣辞别，单车东归长安而去。