果然那些綢莊的老闆一見他們，都指責他們弄虛作假，以次充好，欺騙客戶。
檢查次品，他們發現外表與自己的貨毫無兩樣，但一匹匹絹攤開來，裡面慘不忍睹，不是跳針就是折褶，或者斜紋，連次品也算不上，簡直就是垃圾。這樣的東西冒充好貨交給綢莊，難怪人家火冒三丈。施貴林他們一家一家的上門道歉，將那些次品全部換下，並許諾承擔全部損失。
最後他們載着那些次品，灰溜溜地返回。算下來，那一船優質織絹全泡了湯，白白貼了幾天的工夫和開銷。最要命的是，雖然他們作了解釋，但看得出來，綢莊的老闆並不太相信，還是在懷疑他們故意弄假。
時間又過了兩個月，這五戶人家又要往省城送織絹了。船行了一天，到天黑時正好到達那個小浜邊，以往他們總在此處過夜，但這次他們過了大湖，又行了約二十里，才找了一個隱蔽的河灣停船過夜。
這一夜無事，第二天一早他們繼續行船。到了省城交貨，綢緞莊的老闆一反以前免檢的做法，拿起卷好的織絹攤開，看裡面是否包着次品。結果沒有發現異常。
如此又半年過去了。這天五戶人家又去省城送貨。由於多次送貨均正常，綢緞莊的老闆恢復了對他們的信任，繼續給與免檢的待遇。然而那次又出紕漏了。從省城回來後不久，同村其他人家去省城送貨，又被拒收了，原因與上次相同，就是施貴林他們五戶人家送了一批次品。
這幾個鄉親回來，把施貴林他們大罵一頓。施貴林等五人如雷轟頂。他們趕緊乘上船向省城趕去。到了綢緞莊一檢查，跟上次一樣，好的包在外面，裡面卷着次品。
那些綢緞莊的老闆都很憤怒，儘管施貴林他們連連賠罪，願意掉換，並且承擔全部損失，但這些老闆都立下誓言，再不接納施家莊的織絹了。
載着那些次品，施貴林他們的船駛在回家的路上。五個人心情灰暗，一路無話。他們想不通，這些次品是哪裡來的。沉默了好半天，施貴林對四個人說：“大夥想一想，咱們到底哪個地方出了漏子？”可是誰也想不出漏子出在哪裡。忽然其中一人說道：“我在想，是不是綢緞莊的老闆在……訛我們？”
施貴林心裡一動，覺得這是個新想法。順着這條思路想下去，越想越有道理了。他吃驚地說：“如果真是這樣，那麼上次搶我們的強盜，難道就是這些綢緞莊派的？”
五人都被這種分析嚇一大跳。他們既不敢輕易相信，也無法擺脫這種懷疑。有人問道：“他們這樣做，又爲啥呢？”又有人說：“當然是吞了咱們的貨款。”是啊，一船織絹值上百兩銀子，綢緞莊派人劫下來，再放一些不值錢的次品，到時讓賣家退賠，就全部白得了。五六家綢緞莊，每家可白賺二三十兩銀子。
但這種可能性存在嗎？五個人你看我我看你，誰也不敢確定這種推論。最後他們認爲防人之心不可無，還是得懷疑懷疑。不過有一點要弄清，這次的次品，到底是怎麼被掉換的呢？這一路到省城，他們在半路停了兩次，第一次過了大湖再行二十里，第二次則離省城二十里。兩次過夜都很平靜，並沒有發生什麼變故啊。
這次回來，他們的損失可大了，省城的生意全部毀了。但損失的並不是他們五家，還有整個村子。就在他們回到村裡時，受到了其他人家的一致譴責。五個男人灰頭土臉，忍受着鄉親的責罵，無法作出辯護。
施貴林進了家門，撲在牀上大哭一場。妻子端來了酒菜，勸他先填飽肚子。施貴林撲通一聲跪在妻子面前，哽咽着說：“娘子啊，我們這五個男人，對不起你們在家的女人啊，你們起早貪黑，辛苦勞作，一梭一梭織成這麼好的絹，卻讓我們給糟蹋了，沒有換回銀子，反而換回次品，還壞了名聲，斷了一條好財路。”施妻安慰道：“夫君，上次你們是受了強盜的劫掠，被掉了包，這不是你們的錯。可現在到底怎麼回事，你們好好想過沒有？”“想過了，誰也想不出那些次品是怎麼被換過來的。我們猜，是不是那些綢緞莊合計起來算計我們？”“這不太可能啊，咱們施家莊的綢緞四海揚名，一向受省城的買主歡迎，綢緞莊對我們的綢緞是搶着要的，這麼多年交情了，怎麼可能施這樣的手段來害我們呢。這一定是其他人所爲。你好好想想，在去的路上，有沒有發生過古怪的事？”
聽了妻子的話，施貴林平靜下來，努力回憶着路上的每一個可疑的細節。終於他想到了一點，喃喃地說：“我們第一夜停船過夜，半夜我好像聽到有船從旁邊過，還輕輕碰了我們的船一下。但我以爲是打魚的，沒在意。而且我也很快睡過去了……”“其他人呢？”“他們也睡得很香。”
施妻沉思一下，鄭重地說：“夫君啊，現在可以肯定，有人在盯着你們送貨的船。第一次是強盜直接搶，這第二次，他們沒有明搶，會不會是暗偷……”“暗偷？”施貴林的腦袋裡忽地一閃，脫口而出，“我想起來了，在那條船碰了一下後，我聞到了一股香味……”
施貴林茅塞大開，但也氣恨極了。看來他們第一次是被公然搶奪，第二次被陰謀算計。確實有一夥壞人，專門在盜搶他們的織絹。施貴林馬上去找其他四人，將這種發現說一遍。衆人都認爲有理。
接下來怎麼辦？還去不去省城送貨？施貴林一揮手說：“省城綢緞莊不要我們的貨了，但我們還得去，要把這條銷路撿回來，不能讓施家莊織絹的牌子永遠壞掉。”
幾天以後他們裝上織絹，開船前去。到了大湖過去二十里處，施貴林決定就在老地方泊船。半夜時分，他們又聽到河面上有船划動，接着又輕輕地碰上他們的船。施貴林他們在黑暗中豎起耳朵，果然聽到艙門在輕輕地移開，隨即聞到了一股異香。幸虧他們早有準備，全部用毛巾矇住鼻孔，然後裝作沉睡打鼾。
這條船有三個艙，一個燒飯，一個睡覺，另一個裝貨。很快他們聽到有人在輕輕地問：“喂，船裡的人睡了嗎？”這分明是試探。大家沒吭聲。隔壁的艙裡立即響起動靜，是有人在那裡搬貨了。
他們五人全明白了，原來上次就是這樣被暗算的，有人用悶香將他們悶暈，然後偷樑換柱，掉換了他們的好絹。其他四人血氣上涌，要衝出去跟那些人拼命。施貴林連忙攔住了，示意大家要冷靜。一會兒艙裡停止動靜，河面上響起行船的聲音，並且正在遠去。五人從艙中鑽出，放下一條小舟，留下一人看大船，四個人則划着小舟，跟蹤而去。
朦朧中，施貴林看見前面有條大船在前行。他們保持一定距離跟着。船進了鄰縣的德縣地界，沒有往省城方向，而是拐向德縣縣城。最後停靠在了一個船塢上。他們把小舟也停在不遠處監視它。等天亮以後，留下一人看小舟，施貴林與另兩人向縣衙奔去。
德縣縣衙離這兒不遠。他們馬上擊鼓喊冤。裡面一聲吆喝後，有衙役出來將他們帶進去。德縣縣令正襟危坐，開口問他們有什麼冤。施貴林就將事情從頭訴說一遍，說現在這條盜賊船就停在前面的船塢裡，還請青天大老爺替我們作主。
縣令聽罷，顯得十分吃驚，問道：“竟有這樣的事？你們看清楚了？”“看清楚了，不會錯的。”縣令就叫過都頭，帶人前去搜查那條船。然而當都頭等人跟着施貴林他們到了船塢，卻發現那條船不見了。
都頭不滿地問：“是不是你們說謊？”施貴林忙說確有其事，那條船剛剛就停在此處。 “那現在怎麼沒有呢？”施貴林忙朝小舟跑去。結果那個守小舟的人說，剛纔岸上下來一個酒鬼，手裡拿着酒瓶，硬要叫他喝上兩口。兩人在小舟上拉扯，結果小舟翻轉，都掉進水裡。等他把酒鬼救上岸，再看那條船就已經不見了。
聽說船開走了，都頭只好搖搖頭說：“這個我們沒辦法啦，我們沒看到那條船，憑什麼相信你們？”說着帶人走了。
施貴林氣得連連跺腳。他一咬牙說：“追！”他們的小舟駛出船塢，前面出現三條岔道，究竟往哪裡追呢？四個人，一人認爲往東，一人認爲往南，一人認爲往西。最後由施貴林決斷。施貴林分析說：“這三條路，往西是山區，往東通鄰省了，往南是省城。你們想想，這些人偷了我們的絹，會送往哪裡？我估計一定是省城，因爲我們這兩縣的織絹，基本都往省城銷售，他們可能也不例外。”施貴林決定往南追尋。
四個人齊心協力，拼命划槳，終於在半個時辰後望見前面的船了。但他們沒有立即追近，而是遠遠的跟着，一直跟到了省城。當那條船停了岸，從船艙裡搬出織絹往綢緞莊送時，他們才衝上前，把那幾個人截住。正好前面來了一隊巡街兵丁，施貴林高喊着：“快來人哪，有人搶了我們的織絹。”