數日過後，始畢可汗果不食言，派遣柱國康鞘利一班人押送一千多匹馬到李淵這兒交易，同時許諾發兵助李淵攻打長安。至於李淵想要多少兵馬，由他自己定奪。李淵不惜重金從康鞘利手中買下一大批良馬，以充實軍隊。
然而在到底需要多少突厥士兵這個問題上，李淵遲遲拿不定主意。一方面，李淵想讓始畢可汗多出兵，這樣自己的勝算就更大。可另一方面，他又擔心入關的突厥兵馬過多會禍害老百姓，給自己造成大麻煩。因此左思右想了番，他還是堅持原來的主張，只要五六百突厥鐵騎。對李淵的這個決定，裴寂等人表示暫且可行，並不反對。然而李世民卻持反對意見，他以爲父親對突厥過於忌憚。雖說突厥將士生性貪得無厭，好掠奪女子財貨，但只要加以嚴管，同樣也能很好地約束他們，並不會對百姓造成多大的傷害。當然更重要的是，由於隋軍以及其他割據勢力比較強大，如果自己沒有足夠兵力，恐怕難以取勝。所以，李世民認爲五六百胡騎實在是太少了點，至少也得二三千才行。
李世民此番深思熟慮的議論確有道理，讓在座諸位將佐點頭稱是，他們完全同意身邊這位小將軍的建議。可李淵仍然固執己見，對兒子的良言不予採納。不過後來在劉文靜、唐儉、竇琮等人的一番苦勸之下，他內心發生了變化。這時，裴寂見李淵有回心轉意的跡象，就站出來力諫。李淵聽了裴寂言辭鑿鑿、懇切之至的話語，最終徹底改變了自己的想法，點頭同意了李世民的提議。隨即，他便派劉文靜給突厥柱國康鞘利作回覆，同時又贈送了他一份非常貴重的禮品，好讓他替自己在始畢可汗面前多美言幾句，以便讓始畢可汗更好地履行自己的諾言。
當然，李淵也是個言出必行之人。他立馬就着手落實始畢可汗提出的要求，高舉反隋的義旗。他聽從了裴寂、劉文靜、李世民等人的建議，尊遠在江都遊樂的隋煬帝爲太上皇，立長安代王楊侑爲皇帝，以安定隋室，同時傳佈檄文到各郡縣，命令他們無條件服從自己的號令。
與此同時，劉文靜等人要求李淵易改旗幟，以此向突厥示意起義軍與隋室有別。劉文靜向李淵建議改用白色的旗幟，好與突厥保持一致。李淵內心深處對突厥相當反感，不希望什麼都跟突厥一樣，自然就對劉文靜的提議產生牴觸情緒。可是隨後在劉文靜等人的強烈要求下，李淵不得已只好採取折中的方法，使用絳白雜色旗，以保留自己的獨立地位。劉文靜對李淵的做法雖說不大滿意，但見衆人都同意了，他也就不好再反對，最後一個向李淵表示贊成。李淵沒說什麼，只對着劉文靜冷冷一笑，心裡怨劉文靜跟突厥走得太近了。
此時，李建成、李元吉兄弟倆也帶着一班人馬歷盡千辛萬苦終於從河東抵達了晉陽。兒子們的到來，令李淵以爲起義時機完全成熟，因此他便向所有將士作了番慷慨激越、振奮人心的精彩演講。過後，裴寂等人給李淵上尊號爲大將軍，建大將軍府，置三軍。以李建成爲隴西公、左領軍大都督，統率左路軍；以李世民爲敦煌公、右領軍大都督，統率右路軍；以李元吉爲姑臧公，統率中軍。同時任命裴寂爲長史，劉文靜爲司馬，唐儉、溫大雅爲記室，殷開山爲大將軍掾，劉政會、長孫順德、王長諧、劉弘基、竇琮、段志玄爲左右將軍，柴紹爲右領軍府長史，其餘幕僚隨才任用。