原來，告發他的人正是駐西扶風隗裡縣的雍營越騎校尉司馬李銘。
劉莊不解地問班固，“吾甚爲不解，汝翁班彪一生爲人謹慎，汝亦謹慎之人，班家何致得罪三輔衆人，雍營司馬李銘何故欲構陷汝耶？”
班固不敢隱瞞，便以實情報皇帝，“稟報陛下，李銘構陷於吾，實爲妒恨也。明有妹名李慧，此女好淫，其夫早亡。明欲將北營門令吏左車納爲妹婿，然因其妹品性不端，吾未爲引薦，故而生恨也……”
劉莊聞言感嘆良久，“小小的五陵原竟然如此熱鬧，難怪是先帝百年陵寢所在。但凡人傑地靈之所，災年必出妖孽。人心不古，因妒成恨，視人命如草菅，此李銘甚是可恨……”
班固又依稀想起李司馬假曹家之託，竟然來替其妹求婚的一幕。求婚不成，便生妒恨，便要誣告害人，讓書呆子班固目瞪口呆。班固恨極，心裡悄然罵道，“兄爲小人，妹爲**，亦盜亦淫，全家盡皆怪物也！”
對班固來說，呈文人之罵，雖然是在心裡，這已經算登峰造極了。但聞皇帝說“甚是可恨”，嘴上卻言不由衷地道，“謝陛下懲處奸人，吾已不怪司馬。害人自然不對，吾深惡之。然其爲同產妹着想，手中之情，令吾感懷！”
劉莊聞言未做表示，御史中丞薛池聞言，卻微微皺眉。
這次君臣長談，對班固的仕途起到了關鍵作用。劉莊此後不久便遷其爲典校秘書，秩四百石，鼓勵他繼續撰寫《漢書》。從此開始，班固“自永平中始受詔，潛精積思二十餘年，至建初中乃成。當世甚重其書，學者莫不諷誦焉。”當然，這是後話。
有人歡喜必然有人愁，與班固相比，雍營越騎司馬李銘這回真把自己給玩了進去。他剛到了都城雒陽，即被尚書檯二千石曹扣下，並投入京師雒陽詔獄，從此不知所蹤。
班固雖然因禍得福，可留在五陵原的班家衆人，厄運卻遠未結束。
右扶風所在的關中平原，春季時候雨水充沛，繁花似錦，可從陰曆四月中旬開始，老天便給了臉色，整整連着三個多月滴水未下。成國渠兩岸，日復一日，烈日炎炎，土地龜裂，赤地千里。
成國渠已近乎乾涸，僅剩中間一條長線一般的細流。渠邊高阜上的班、馮兩家田地，成了無水的死地。龍三帶着班家17戶徒附，水排車不上水來，便擔水保苗。四頃田地，徒附們累垮了，春慄還是大都乾死。
班超帶着班秉、班騶不死心，沒日沒夜連着擔水，最後還是無奈放棄。看着火燒一般枯乾的禾苗，龍三和徒附們痛哭失聲。
夏糧顆粒無收，班府加上十七戶徒附，田舍倉中存慄絕對支撐不過春荒。這讓班超幾乎絕望，嘴上長了一片血泡，人也累脫了形。這場旱災之烈超乎想象，隔壁馮家雖然窪地膏田多，但夏糧也是僅收成了少許。
烈日炙烤着關中大地，滾滾熱浪讓樹葉都捲成了卷兒。夏慄未種上，秋糧眼瞅着也是種不上的。馮家家大業大，莊園內備有餘糧。可班家就不一樣了，班超眼瞅着一家人一下子陷入了絕境。
十七家徒附先行斷糧，樊儇與夜玉二話沒說，便命班超打開田舍倉庫，將存慄按人頭均分給徒附。徒附之首龍三阻止道，“公子，吾等粗泥土中人，過不去可逃荒去。糧全分了，到春荒時，老夫人、師母與兩個小公子如何熬過？”
班超道，“告訴各家，細水長流，好歹熬到官府開倉濟民之時。汝不要替吾家擔憂，兄長已在朝內爲官，吾總比汝等有法子！”
馮家被班家比着，馮墾雖然不甘，但於氏也命開倉分糧給徒附。只不過馮家是豪強大戶，分點糧給徒附不過是九牛一毛。班家是小戶，倉內糧原就有限，如此一分，便完全與徒附一樣，將全家置於捱餓的險地。到了冬春荒季，便只能靠官府賑災糧接濟。
班宅三院共有三口老井，百餘年來未嘗枯過井。然而自夏季大旱以來，這三口井裡的水位越來越低，越來越渾濁，最後竟然先後乾涸。一家人的吃水，都不得不靠徒附們從幾裡外的成國渠挑水來。
到了七月份，安陵的官市市面上已無糧可售，黑市黍米價格已經翻了幾倍。班府從進入七月開始，便每日只開一餐稀粥煮榆葉。又支撐了一段時間，缸內慄米告罄，除了一點種子，再也無糧可食。
夏日炎炎 酷暑難當。幾個月時間，天上未下一滴雨，空氣中瀰漫着焦枯、燥熱的土腥味兒。田舍中無糧，老鼠們餓得四處奔逃，也成了徒附們的腹中食。樊儇和夜玉心知秋糧沒法種上，看着兩個小孫兒餓得皮包骨，便命吃掉了留做秋種的種子。
班固身在中樞，自然從三輔奏報中，得知家鄉旱荒。他焦心如焚，多次帶信催全家速遷雒陽。樊儇和夜玉怕給班固添累，於是便命班超將嫂子雁旋及兩個面黃肌瘦的小侄送到雒陽，與兄長班固團聚，好搏得個活路。
班超急找嗇夫馮墾，馮墾則和鄉假佐（注：官名，鄉嗇夫屬下，負責管理戶籍）一起開出放行文書（注：即允許戶口遷徙證明）。
手續辦好了，但送雁旋母子出行，班超卻頗費心思。他先命班秉、班騶和金杏、雁旋母子三人夜晚悄然移至馮府，第二天天剛矇矇亮，請馮墾乘安車與妻呂氏一起轟轟烈烈去了一趟長安城。
安陵豪強馮墾攜婦遠行，僅隨行的小廝、婢女十數人，輜車七八輛，騎從十餘匹。班秉、班騶、金杏、雁旋母子三人俱隱在車內，悄然離開安陵。到了長安後，班秉、班騶才護送雁旋母子三人和金杏，乘一輛輜車赴雒陽。
如此縝密的安排，把班、馮兩家人都嚇得不輕。馮墾大熱天被逼着出行，氣得破口大罵。雁旋凌晨時臨上輜車前，還一再悄聲叮囑班超：
“三輔旱重，這裡是呆不得了。聽汝兄長話，乾脆賣掉老宅，速遷雒陽。孟堅雖然秩奉不高，一家人餬口總是可以的。我到雒陽，那怕舉債，最多半月，也會提前租好宅子，等全家來。生死悠關，汝要切記、切記！”