当得知祈雨那天李渊也到场时，一个点子猛然从王威的脑子里冒了出来。李渊募兵买马，磨刀霍霍，反相已露。何不乘此机会将李渊除掉！
于是王威与高君雅密谋一番，便开始准备兵马了。岂知对此有所察觉的刘世龙已将此事汇报给了李渊。这边李渊也已在晋祠附近布好了亲兵。
及至祈雨的那天，在李渊的安排下，开阳府司马刘政会突然出现，将一密状呈给李渊。“密状”中称王、高二人引突厥入关。直到这时，王威、高君雅才发觉上了人的圈套。不容分说，已被人五花大绑，押回城中。
吉时已到，李渊则在刘世龙等人的陪同下，来到前院的祭台，与老老少少一起，向台上的龙王爷献香祷祝，顶礼膜拜，祈望龙王爷能给久旱的大地普降甘霖……
事有凑巧，刘政会告王威、高君雅勾结突厥入关，第三天，即五月十七日，突厥发数万骑兵袭击太原，其轻骑兵在太原城外，往来驰骋，极为骄横。李渊决定利用智谋使突厥退兵，一来不伤与突厥的和气，二来让突厥看看李渊的实力，让其从此不敢小瞧。突厥来犯，正应了刘政会的“密报”。在对付突厥的军事会议上，分派完各路兵以后，李渊命令道：
“人告发王威、高君雅勾结突厥，今果然如此，立即将此二人处斩，祭旗出兵！”
将王、高二人处斩后，单说李渊沉着冷静，命裴寂、刘文静等分别守备太原诸城门。且令城门大开，城墙上不树旗帜，守城将士皆蹲在城垛后面，不许出声。唱一出空城计，以迷惑突厥。空城计毕竟是空城计，为防不测，李渊命李世民率精锐骑兵，乘黑夜悄悄出城，占据险要的地方，一旦太原城有何不测，即从背后突袭突厥。
为进一步迷惑突厥人，李渊又命部将王康达率所部千余人，黑夜出城，白天入城，大张旗鼓装作援军的样子。
李渊的疑兵计收到了预期的效果。在城外，虽然发生了一些小规模的战斗，但基本上没有大的战斗。突厥此次来太原，本来是示其威武，并不准备强攻太原，今见李渊有所准备，怕夜长梦多，于是乘夜退兵。
月光下，但见城外尘土飞扬，人喧马嘶。城墙上的将士们见突厥兵从夜里一直到第二天上午才全部退完。亲眼见到突厥兵强马壮，人多势众。将士们既高兴，又后怕。后怕的是突厥兵终于没来攻城，高兴的是唐公李渊智谋过人。乱世之中，追随这样的人，岂不是我辈的大幸！
上午，李渊正在留守府和文武官员议事，城外埋伏的侦骑飞马来报，言突厥兵已全部退出太原。李渊微微一笑，手捋胡须说：“我知之矣。”
文武官员一齐上来祝贺，齐赞唐公之德。去年马邑大败突厥，现在又智退突厥，使太原避免了劫难，成为乱世之中，最和平的地方。李渊的形象在文武官员和百姓中越来越高大，联想到“杨氏灭，李氏兴”的童谣、图谶，人们更是对李渊心怀敬畏。在讨论如何进行下一步行动时，李世民认为，若兵行天下，必须确保后方根据地太原的安全，而太原最大的威胁来自突厥。突厥控弦百万，十分强大，若一味与其对抗，以后仍然会麻烦不断，只有实行表面妥协和畏服的办法，才能确保太原的安全，确保起兵的顺利实施。
大家一致表示赞同。李渊虽觉畏服突厥，会召来天下骂名，但眼下却不得不如此。于是修书一封，再遣刘文静出使突厥。
信中李渊表达了自己欲取天下，向突厥屈节求和之意。并投其所好，言取天下后，除土地之外，货财宝物，任其所取。始毕可汗接信后非常高兴，对臣下说：
“我知唐公是非常之人，果做异常之事。今上书恭维于我，我当从之。以求宝物。”为了表示向突厥的臣服，裴寂等人主张起兵用白旗，以和突厥的旗色保持一致。李渊认为太露骨，不同意，最后采用李世民的意见，一半是红，一半是白，“杂用绛白”，以表示既不纯属于隋朝、也不纯属于突厥。
北连突厥，解除了后顾之忧，这时李建成、李元吉和柴绍也赶到了太原。李渊觉得正式起兵的机会到了，立即召开太原郡各级官员大会，会上，李渊言隋炀帝无道，致天下大乱，决定依伊尹放逐太甲、霍光废昌邑的故事，废隋炀帝而立代王。并传檄各县，克日起兵。
文武官员都知道李渊葫芦里卖的是什么药，尊隋是假，欲取天下是真。虽说如此，绝大多数人还都愿跟着李渊。听完李渊的号令，与会的官员爆出一阵欢呼声。
李渊为人行事再好，也有人不买他那一套。起义檄文传到了西河郡（今山西汾阳），郡丞高德儒甘愿为隋炀帝尽忠，不听从李渊之命，且坚壁清野，与太原断绝交通。想在乱世之中，夺取天下，就不能怕打仗。李渊决定首先拿西河郡开刀。李世民自告奋勇，愿去打这起兵的第一仗。但李世民毕竟年仅二十岁，又是单独领兵攻城，李渊怕有什么闪失，派大儿子李建成与李世民一起去，并任命诚实稳重的新任太原令温大有为行军参谋。行军之前，李渊拉着温大有的手说：
“我军兵马尚少，又多是新兵，无实战经验。此次又要攻城略地，非比平日打仗。我儿年少，派卿参谋军事，希望你用心而为之。这一仗关系重大，若赢了，帝业可成也。”