裴寂的判斷還真沒有出錯，許敬宗當初想去武庫別署，還真就抱着架空趙雲澤的心思。
許敬宗是個官迷。但凡官迷，都貪戀權勢。許敬宗這個人能力還是挺強的，可是他的人品不行。此人毫無信義可言，還在隋朝時，爲了抱奸相宇文化及的大腿，連他的親爹都可以出賣。
明君用大臣，首重人品，次重能力。唐高祖李淵怎麼說也是開國之君，也算的上是明君了。因此，雖然許敬宗出仕很早，可李淵一直就沒怎麼看得上他。有了事情，把他拉出來頂一下差事。沒事就又把他丟一邊了。所以，許敬宗當了這麼多年官，才只是個從六品的本銜。他的職事也只是箇中書省的秘書郎，說白了，就是個文書，根本就沒有什麼權力。
對於李淵，許敬宗自然是滿腹怨言。李世民登基以後，許敬宗以爲自己的春天來了。好歹，他也是出自秦王府之人啊。可是，現實卻給了許敬宗迎頭一擊。眼瞅着秦王府的那些官員，一個個都被李世民調整了職事，唯獨他許敬宗，仍然當着中書省的文書。
武庫別署一成立，許敬宗敏銳的意識到了武庫別署的重要性。他再一看武庫別署的官員構成，好嘛，全是一幫小青年。尤其是武庫別署的主官趙雲澤，還是個剛剛出仕的菜鳥。這下，許敬宗動起心思來了。
自己好歹也爲官十多年了，要是自己去了武庫別署，這幫小青年還不任自己拿捏？自己也可以嚐嚐大權在握的感覺了。
於是，許敬宗就主動向李世民申請去了武庫別署。
可是，令許敬宗沒有想到的是，趙雲澤這個官場菜鳥，做起事來居然一點也不菜。而且，他弄出的很多規章制度，比起別的衙門來更有約束力。
最讓許敬宗佩服又氣恨的一點就是，趙雲澤可以將別的權力下放，偏偏把人事權和財務權抓的死死的。抓住了這兩項權利，趙雲澤就等於把整個武庫別署拿捏在了他自己手中。
尤其是財權，趙雲澤制定了詳細的財務管理制度，把武庫別署的錢糧使項都控制的死死的。就算是雜項開支，也有着嚴格的申報、覈銷規定。動用五十文以下，必須經方直審覈同意；動用五十文至一百文，必須經閻立本審覈同意；動用一百文以上，則必須經趙雲澤本人審覈同意。
許敬宗身爲主簿，身兼文書和會計的雙重職責。別的事情，許敬宗插不進手，他就想着打打錢糧的主意。可是，在趙雲澤制定的嚴格的財務制度之下，許敬宗完全淪爲記賬員了。
許敬宗原本以爲趙雲澤有管理能力，但他不一定懂做賬。畢竟，算學一道，在這個時代不被重視，習算學的讀書人很少。於是，許敬宗就想着在賬本上動動手腳。
武庫別署剛開衙時，用錢的使項太多了。許敬宗便故意記錯一筆賬，只是十幾文錢的錯漏。他把賬本交給趙雲澤審覈，想借此試探趙雲澤。
也不知道趙雲澤是怎麼審的賬，反正許敬宗只看到趙雲澤用鵝毛筆在一張紙上寫了一大片鬼畫符一樣的東西，然後就點出了兩筆錯賬。一筆是許敬宗故意記錯的那筆；另外一筆，只是兩文錢的錯漏，這卻不是許敬宗故意記錯的了。
這下，許敬宗傻眼了。要知道，他做這一期的賬本時，可是花了整整一個上午才把賬本做完的，可人家趙雲澤審覈賬本，也就用了兩刻鐘的時間。
就是這樣，趙雲澤還搖頭嘆氣說，要是有把算盤就好了，那他最多耽誤許敬宗一刻鐘的時間。趙雲澤還說，等武庫別署的工匠得閒了，先讓工匠們做上幾把算盤，然後，他再教許敬宗如何運用算盤算賬和如何用複式記賬法做賬。
我用的着你教？！許敬宗很失落。
其實許敬宗對趙雲澤的怨氣，不光是公務上的。
還在武庫別署的官員第一天到兵部應卯時，許敬宗就大拍趙雲澤的馬屁，主動給趙雲澤擦坐凳。可是趙雲澤對許敬宗當時的舉動卻大爲嘲諷。
趙雲澤當時說的話，就像釘子一樣扎進了許敬宗的心臟上。從那時起，他就把趙雲澤給恨上了。他就想着有朝一日一定要收拾了趙雲澤，狠狠的出一口惡氣。
恰巧，這個趙雲澤居然得罪了太上皇和裴寂。有了太上皇和裴司空這位朝中第一人撐腰，許某人自然是樂顛樂顛的要對趙雲澤下手了。
許敬宗花了一晚上的時間，爲趙雲澤羅列好了罪名。
第二日武庫別署散衙之後，許敬宗一回長安城，就拿着他爲趙雲澤羅列的罪名跑到了裴寂府上。
裴寂看完許敬宗寫的東西，對許敬宗大爲誇讚了一番。
許敬宗又與裴寂密謀一番過後，便直接在裴寂家寫了份彈劾趙雲澤的奏摺，署名卻是署的胡江的。
胡江也是個傻缺。當裴寂把許敬宗寫好的奏摺拿給躺在牀上的胡江看時，胡江簡直是以樂瘋了的態度，欣然同意了裴寂和許敬宗的做法。他根本就沒意識到裴寂和許敬宗在拿他當槍使。
於是，第二天散朝過後，李世民的書案上就有了一份胡江彈劾趙雲澤多行不法之事的奏摺。
許敬宗爲趙雲澤羅列了七大罪：
一，居心叵測。趙雲澤將武庫別署稱之爲“祝麓山莊”，其“祝麓”二字，合“逐鹿”之音。趙雲澤其心可誅。
二，私製法令。武庫別署各項規章制度，皆出自趙雲澤之手，且多與朝廷各衙門規制相悖。
三，暗植黨羽。趙雲澤到任武庫別署署令後，極盡拉攏人心之能事，武庫別署一班官員，唯趙雲澤之命是從，不論對錯。
四，驕橫跋扈。趙雲澤執掌武庫別署，其令出必踐，容不得他人意見。趙雲澤常掛在嘴邊兩句話。其一，“第一，署令大人說的都是對的，第二，若署令大人說的不對，請參照第一條執行。”其二，“我的命令，你們理解了要執行，不理解，那就在執行中加深理解。”
五，公器私用。趙雲澤對別署官員吏役及工匠，只以個人好惡亂行賞罰。
六，揮靡國財。趙雲澤私自改工匠一日兩餐爲一日三餐，且伙食豐盛。趙雲澤以武庫別署公帑，私行釀酒、淨鹽之事。且把所得之酒、之鹽，作爲賞物分發於別署衆員，以國財爲其拉攏人心。至於趙雲澤有無私下售酒、售鹽，尚未查證。
七，疑其行兇。趙雲澤對別署內衛團旅帥胡江，向來惡之。胡江被兇徒打斷腿一事，疑爲趙雲澤指使。其目的，就是想將胡江趕出武庫別署。