謝素素家在太傅宅西南，人稱大方伯第，因謝迪最高官至廣東左布政使，相當於是一省之長，古稱大方伯，伯者霸也，大方伯爲一方諸侯之領袖，如商末周文王便是西大方伯，後世沿用，作爲對省長級地方高官的美稱。
大方伯第前後二進，前爲光範堂，後爲祗訓樓，此時祗訓樓已被佩雷拉燒燬，瓦礫狼藉，不成樣子，但門前兩根柱子還在，柱子上懸掛的對聯也被薰焦了，字跡勉強尚可辨認，卻是謝迪的親筆：“難弟難兄方伯第連閣老府，世家世澤三門堰對萬安橋”
謝素素見家園破敗，心中哀傷，東門慶打聽得她家的人都搬進閣老府暫避，便來到柱國坊前，遞上拜帖求見。
不久便見一個二十上下的青年快步跑了出來，一邊還在叫道：“素素！素素！”
謝素素雖然矜持，聽到這個聲音也忍不住哀呼道：“哥哥！”從轎子中掙扎起來，踉蹌幾步，早被那個青年抱住，兄妹兩人劫後相見，均是涕淚交下。
門內又走出一個三十好幾的儒服男子來道：“子文，先進去再說！”此人便是謝遷的長曾孫謝敏行了。
那青年哦了一聲，道：“是，是！”趕緊帶了謝素素入內。謝亙是謝迪的繼子，生父實爲謝遷，傳到謝素素這一代，雖號兩支，實爲一家，平時往來甚密，謝素素的閨房雖已燒燬，但閣老府自有姐妹扶持她，幫她梳洗裝扮罷，重新由哥哥帶出來拜見恩公。
他們大家族的規矩自非尋常，雖是拜見恩公，但男女有別，仍然隔着珠簾。
這時東門慶正與謝敏行攀談，聽說小姐出來，慌忙在簾外回禮，珠簾內的人影釵妝黛飾，但只看得個隱約，見不得仔細。
謝素素的哥哥出來與東門慶相見，道：“小弟謝敏學，字子文。”因請教東門慶姓名，東門慶道：“小弟東門慶，字賴之。”又各報家流淵源，有些話東門慶剛纔本已與謝敏行說過，這時對謝敏學又說了一遍。謝素素在門內聽着記着，一字不漏。
謝敏學對東門慶救了他妹妹千恩萬謝，東門慶以謙虛言語相應，二人相談甚歡，便互相稱字，謝敏學道：“可惜家祖父抱恙在身，否則見到賴之，定甚歡喜。”
謝素素聽了這話驚道：“爺爺病了？”
謝敏行道：“那夜大火，叔祖受了驚擾，現今在狀元樓靜養。”
謝素素一聽，在簾後起身給東門慶行禮，道：“蒙公子加手援於水火之中，本不當無禮離去，只是聽知祖父有病，心急如焚，欲往探訪，還請見諒。”
東門慶也起身還禮，道：“小姐孝道感人，敬請自便，不必以此爲慮。”
他這般爾雅言行，真是說有多斯文便有多斯文，若非世家子弟自幼薰陶那是怎麼也出不來的。此時若跟謝敏學、謝素素說東門慶還有嘯傲東海、殺人如麻的一面，只怕打死也不相信。
謝素素這時也想不到這些，入內後坐了府間穿行的小轎，到狀元樓去探望祖父。
這狀元樓卻是謝遷、謝迪的祖父謝瑩所置之業。謝瑩曾任光祿寺珍饈署丞、福建布政司都事，後以孫子謝遷而累贈光祿大夫、柱國少傅、武英殿大學士，所以他的遺宅便稱大學士第。狀元樓在大學士第之北，原只是普通平房，是謝遷小時候讀書的地方，他中狀元之後加以擴建，才改名狀元樓。此樓三間二弄，東西闊五六丈，南北深四五丈，七柱九樑雙重檐，四角上翹似飛亭，當地人敬愛閣老，便將這種建式號爲“五嶽朝天”。
謝素素在樓前下了轎，入內拜見，還沒進門，淚水已忍不住滲了出來，謝亙聽說孫女回來，仍躺在牀上沒起身，謝素素跪倒在牀邊，哭道：“爺爺，素素回來了！”
謝亙在牀上哦了一聲，道：“你回來了啊。”
這麼短短的一句話裡，竟無謝素素所期待的驚喜，而含着一種若隱若現的失望，謝素素心頭一顫，又是害怕，又是不敢相信，心想：“一定是我想多了。爺爺只是病了，沒力氣。”
謝亙卻已揮了揮手道：“去吧，我累了。”
謝素素本有好多話要和祖父說，但真見了祖父，看到他這般反應，竟是一句話也說不出來了！已有老媽子過來攙扶她，謝素素內心掙扎着，仍抱着希冀，道：“祖父，這次素素能回來，是多虧了一位東門公子的救護。”
謝亙嗯了一聲，卻沒接口，轉過身去面裡，道：“知道了。”
謝素素聽了這話，頓時覺得整個肺腑透着寒氣，被老媽子攙着道：“姑娘，老爺說累了，走吧。”謝素素眼淚又流了下來，但入門時的眼淚是熱的，這時的眼淚卻是冰的，咽喉哽咽着，說不出一句話來，只在**上給祖父磕了頭道：“爺爺，素素……素素去了……”掩面而出，到了外面，卻見烏雲滿空，就像整個天都要掉下來一般！
從狀元樓裡出來後，謝素素便被送去一間僻靜的小屋中住，一路上她總覺得家中上下各色人等看她的眼神似乎也不一樣了，好像她身上沾染着髒東西一般。到了那間小屋中，卻見窗木、牀板都甚陳舊，牆角長着青苔，雖然打掃得乾淨了，卻委實不像一個大家閨秀住的地方。謝素素便對送她來的老媽子道：“住在這裡我害怕，我去跟姐姐妹妹們擠一擠吧。”
老媽子卻道：“老爺吩咐了，請姑娘別爲難我們這些下人。”話說得客氣，那語氣卻是冷冰冰的。
謝素素差點當場哭了出來，老媽子等都走了以後，房門關上，謝素素這才哭道：“這到底是怎麼了？這到底是怎麼了？剛纔還不是這樣的，怎麼一轉眼間……”
旁邊丫鬟墨兒已在抹淚了，勸道：“小姐……”卻什麼安慰的話也說不出來。
謝素素左思右想，總想不明白，忽然省起一件事來，對墨兒道：“恩公不知現在怎麼樣了，墨兒，你去打聽打聽。順便跟我哥哥說……說……”一時不知怎麼和哥哥說，便道：“請他過來一趟。”
墨兒應了一聲，出去了，過了好久就回來，道：“小姐，我見不到孫少爺，只聽說老爺讓他設宴款待恩公。”
謝素素道：“這麼說，他們對恩公還好了？”
墨兒道：“是。”
謝素素怔了半晌，喃喃道：“那究竟是出了什麼事情呢？”過了有半個時辰，見天色已黑，算算宴席已經結束，又讓墨兒去請謝敏學。
這次墨兒沒去一會就回來了，跟她一起來的不是謝敏學，卻是兩個老媽子，看墨兒那副委屈的樣子，倒像是被押解回來的一般。
老媽子送了她進門後，就當着謝素素的面罵墨兒道：“小蹄子！黑漆漆的別亂跑！這會有外人在府上呢！要是撞上了，惹出閒言閒語來可怎麼得了？相府侯門規矩大，容不得不乾淨的事！不乾淨的人！”
謝素素可不是逆來順受之輩，外表溫柔，性子卻烈，要不怎麼敢搶徐海的匕首自殺？這時一聽，肚子裡傲氣怨氣一齊爆發，嬌喝道：“什麼不乾淨的事！不乾淨的人！”
那老媽子卻不太怕她，眼睛看着墨兒說：“這小蹄子被那羣天殺的倭寇劫了去，過了幾晚纔回來，誰知道這會還乾不乾淨！”
墨兒一聽，哇的哭了出來，謝素素卻整個人如同被凍住了一般，再也動彈不得！這才明白爺爺爲什麼會那樣待她，這才明白這些下人怎麼會變了臉！她本也是一個極聰明的女孩子，只是這麼可怕的事情，一個閨閣小姐平時是連念頭都不敢動的，所以儘管內心隱隱猜到卻還是不敢往那個方向想，這時被老媽子指桑罵槐地道破了，方纔無可迴避地醒悟了過來！
那兩個老媽子瞄了她兩眼，也不管她，便都出去了。墨兒見謝素素在那裡久久不動，十分害怕，推了她一把，叫道：“小姐……”謝素素卻還是不動。
墨兒慌了，趕緊跑出去叫道：“不好！小姐出事了，小姐出事了！”
那兩個老媽子這時還沒走遠，便折了回來，若是在謝素素被擄之前她們見狀也非驚慌失措不可，這時卻當作等閒，其中一個便上來伸手指頭往謝素素的人中猛的一掐，痛得謝素素啊的一聲醒轉過來，因身子乏力，腳向後跌，跌倒在牀上，一邊喘息一邊哭。
其中一個老媽子道：“姑娘，事情都到這份上了，你也別多想了。好好保重，別給我們添麻煩了。”
謝素素哭道：“你去拿一根繩子來，我死了算了！”
墨兒驚道：“小姐，不可！”
另外一個老媽子冷笑道：“姑娘若是有心，就不該等到今日。你現在可千萬不能死，要不我們得擔待多大的責任！再說你現在就算死，這聲名也難乾淨了。”
墨兒叫道：“小姐她沒失節！沒失節！你們看看她頸項上的傷痕，那就是……”
“行了行了。”一個老媽子道：“這種事情，誰說得清楚？難道還能到外頭找三姑六婆進大方伯府來驗不成？那不是更惹人笑話麼！姑娘，看開點吧。”
說着便要走，謝素素忽然叫道：“宋媽媽，你給我透個訊兒！祖父……他到底要怎麼處置我？”
那叫宋媽媽的見謝素素如此叫喚她，嘆道：“姑娘，怎麼能用處置二字？那將老爺置於何地？”頓了頓道：“我日間聽說劉家嫂子已到念慈庵去了，那個地方，聽說也還清淨，也算是個去處。姑娘啊，你就別想太多了。”