经过李渊的老谋深算和李世民的努力协助，造反的班底算是搭建起来了。问题是，造反无论如何不是一件容易的事情，弄不好就要身败名裂。李渊是个城府很深的人，既然决定造反，那就一定要把准备工作做好，确保万无一失。造反之前，李渊一共干了五件大事。
第一，召集儿女。俗话说，打仗亲兄弟，上阵父子兵。李渊要是造反，最信赖的当然是自己的儿女。可是，当时他的几个大一点儿的儿女中，只有李世民在身边，其余长子李建成、三子李元吉和女婿柴绍都不在太原。怎么办？往回叫吧。这几个孩子接到父亲的书信，也都拼命往回赶。到六月，基本都到了太原。
第二，收买民心。就在大业十三年（617）五月，太原留守李渊忽然接到一封皇帝的敕书。里面写着：“发太原、西河、雁门、马邑民年二十已上五十已下悉为兵，期岁暮集涿郡，击高（句）丽。”大意是说，凡太原及其周边地区，男子在二十岁到五十岁的，统统当兵，到年底再去打高句丽。这不是扫地为兵，让老百姓都去送死吗？
这道敕书一传开，马上“人情恟恟，思乱者益众”。老百姓都议论纷纷，想要造反。难道隋炀帝此时真的发出了这样一道敕书吗？其实并不是。这是李渊让刘文静伪造的。问题是，这个伪造的敕书太像真的了。谁都知道，隋炀帝一直对高句丽耿耿于怀，也一直没死了打高句丽的心，所以，说这道敕书是他发出的，绝对无人怀疑，也无人不恨之入骨。就这样，凭一封伪造的敕书，李渊成功地把太原变成了一个火药桶，也为自己以后起兵赢得了民心基础。
第三，大肆募兵。要想造反，不光要有民心，还要有兵力。李渊手里已经有了几万士兵，但是还嫌不够，还要再招募一些。当时，太原周边有很多支造反军队，其中有一支军队的领袖叫刘武周，此人借助突厥势力，把马邑太守王仁恭杀了，还抢占了隋炀帝的行宫汾阳宫。
李渊担任太原留守，不仅要防控突厥，还要防控起义军。现在，听闻起义军占了皇帝的行宫，李渊就把手下的军官都召集到一起，问他们：“武周据汾阳宫，吾辈不能制，罪当族灭，若之何？”刘武周占据汾阳宫，我们却不能制止，论罪该当灭族，怎么办？
这些将领也都在为这件事发愁，此刻赶紧说，我们没主意，都听您的。听了这句话，李渊为难道：“朝廷用兵，动止皆禀节度。今贼在数百里内，江都在三千里外，加以道路险要，复有他贼据之；以婴城胶柱之兵，当巨猾豕突之势，必不全矣。进退维谷，何为而可？”朝廷用兵，行止进退都要禀明上级，问题是，如今贼在三百里外，而皇帝在三千里外的江都，加上道路险要，还有别的盗贼盘踞，我们如此拘泥，盗贼则势如虎狼，两相较量，我们必然无法保全。真等禀报了皇帝再决定，那恐怕黄瓜菜都凉了，我也是进退维谷，不知怎么办才好啊！
手下一听，赶紧表态说：“公地兼亲贤，同国休戚，若俟奏报，岂及事机；要在平贼，专之可也。”您既是宗亲，又是贤臣，同国家命运休戚相关，若是事事等着奏报，哪里赶得上时机？只要是为了平灭盗寇，专权也是可以的。意思是说，别禀报了，就您说了算吧。
李渊见目的达到了，这才说：“然则先当集兵。”既然如此，那我就专权一把。现在兵力不够，要想大败起义军，只好赶紧募兵。文书发布出去，没过半个月，就招募了一万人左右，让李世民还有他结交的那帮英雄统领。
第四，除掉绊脚石。隋炀帝虽然派李渊担任太原留守，但对他也并不是完全信任。还派了两个副手，一个叫王威，另一个叫高君雅，让他们来监视他。这两个人本来也同意李渊募兵，但是把招募来的新兵都交给逃兵役的罪犯来统领，他们心里不免怀疑起来了。这个唐公，不会是想造反吧？想到这儿，他们决定先把刘弘基和长孙顺德抓起来审一审。李渊当时各项准备工作还没有完全做好，如果这时候把他手下的重要将领抓起来审问，难免会露出蛛丝马迹来，后果将不堪设想。可有道是“吉人自有天相”，就在这个时候，有一位贵人来给李渊帮忙了。
此人是山西当地的一个木材商人，名叫武士彟，就是大名鼎鼎的女皇武则天的爸爸。这个人精明强干，黑道、白道都能走，别看只是一介商人，但跟太原的军政长官都很熟。就在王威和高君雅想要追查李渊手底下那些统兵官将发未发之际，有一天，武士彟来找王威和高君雅喝酒。
大家平常关系都很熟，喝酒的时候，说话也比较开放，王威和高君雅也没想背着他，就说：“顺德、弘基皆背征三侍，所犯当死，安得将兵！”刘弘基、长孙顺德都是逃避兵役之人，是罪犯，现在唐公让他们领兵是什么意思？所以我们想把这两个人抓起来审一下。
武士彟一听他们这么说，大脑开始飞速旋转起来：太原留守和副留守之间产生矛盾了，而且不是一般的矛盾，这恐怕就是拥隋和反隋的两条路线斗争！在这两条路线之间，哪个更有前途？武士彟是一个聪明人，他觉得反隋更有前途。既然如此，何不给自己搏一个未来呢？想到这里，他装出一副推心置腹的样子，对王威和高君雅说：“二人皆唐公客，若尔，必大致纷纭。”两位老兄真要去审刘弘基和长孙顺德？恐怕不妥呀。这两个人都是唐公的客人，现在并没有什么实实在在的证据，你就抓人家手底下的人，以后你们上下级之间的关系还怎么处理？还是先放放，有了证据再说吧。王威和高君雅也比较优柔寡断，觉得有道理，真就把这事儿给放下了，暂且算是救了李渊。
不过，虽然武士彟暂时替李渊挡了一下，但是眼看着李渊紧锣密鼓地张罗，王威和高君雅也不是傻子，心里的疑虑还是越来越大。怎么办？此时正逢太原大旱，李渊作为最高军政长官，要到晋祠去替百姓祈雨，王威和高君雅想来想去，打算趁李渊出城，身边没有防备的时候把他抓起来，交送隋炀帝。他反也罢，不反也罢，由皇帝说了算。这可是千钧一发之际，试想，起义都还没有开始，主帅如果被抓起来，那是什么后果？
但是，谋划了这么一件事之后，王威和高君雅又犯傻了。这两个人一贯办事不密，不小心把这事情告诉了他们的一个朋友。此人名叫刘士龙，是晋阳的一个乡长，算是基层公务员。
刘士龙也是个八面玲珑的人，内心判断了一番之后，把这件事报告给了李渊。李渊大吃一惊，连夜做了安排。第二天早晨，他照样和王威、高君雅一起坐在府衙里处理公务。处理未毕，刘文静带进来一个人，声称有密状。李渊就让他交给王威。没想到，这个告密状的人坚决不给，说自己这密状告的就是两位副留守，所以，坚决不能交给他们，一定请唐公您亲自看！
李渊一听，假装大惊失色，赶紧接过来看，只见里面赫然写着：“威、君雅潜引突厥入寇。”王威、高君雅暗中勾结突厥人入侵。
直到此时，高君雅终于反应过来，破口大骂说：“此乃反者欲杀我耳！”这是造反的人要杀我了啊！可是，此时再明白还有什么用？刘文静和刘弘基、长孙顺德一干人一拥而上，把两位副留守抓了起来，砍头了事。就这样，王威和高君雅举报李渊未成，反倒被李渊先发制人，成了冤死鬼。
把这两个绊脚石除掉，意味着李渊的内部稳定下来了，从此，整个太原城就听李渊的了！
第五，称臣突厥。现在，李渊兵源有了，民心有了，内部也稳定了，他还差什么？李渊要想夺取天下，还有一个最大的顾虑，那就是太原以北的突厥。突厥当时兵强马壮，一旦李渊发兵去攻打大兴城，他们从背后打过来，那李渊就腹背受敌了。怎么办呢？这时，刘文静出主意说，不如和突厥联合，这也是中原政权的老方法，当年北周和北齐都这么干。李渊也熟知此道，马上依计而行。
怎么联合突厥呢？李渊打点了一大堆金银珠宝送给始毕可汗，还以臣子对君主的礼仪，亲自给始毕可汗写了一封信，信上说：“欲大举义兵，远迎主上，复与突厥和亲，如开皇之时。若能与我俱南，愿勿侵暴百姓；若但和亲，坐受宝货，亦唯可汗所择。”现在天下大乱，皇帝在江都不回来，这样不行！所以，我想举义兵，把他接回来主持局面。然后和突厥和亲，跟当年文帝时候一样。可汗若是愿意和我一起兴兵南下，那我当然欢迎，如果只是想和亲，不想和我们一起打仗，那我们也高兴，照样会奉上礼物。
这其实是给始毕可汗指了两条路，一条是帮李渊一起打，这是积极方案；还有一条路，就是不帮忙，但是也不坏事，这是消极方案。
两条道路都对突厥有利，始毕可汗当然不会拒绝。他到底选哪条道路呢？他选的是积极道路，派了两千兵马过来助阵。突厥这样一表态，李渊终于觉得，万事俱备，只欠东风了。
大业十三年（617）七月，李渊以第四子元吉为太原太守，留守晋阳宫，坐镇后方。自己则在军门誓师，夹杂着打起绛、白两色大旗，表示既服从隋朝，又服从突厥，然后打着推尊远在大兴城的代王杨侑的旗号，和大儿子李建成、二儿子李世民一起，率领三万士兵，从晋阳宫出发，直奔大兴城而去了！那么，这支军队又会面临怎样的前景？