河陽徐家原籍安徽鳳陽，明朝正德年間徐家人徐敬川高中進士，分派來河陽任河陽縣令。
在鳳陽，徐家不是名門望族，經常受當地的大姓擠兌，徐家早就有遷出鳳陽之意。徐敬川來到河陽之後，看到河陽一縣民風淳樸，風水又極好，所以索性舉家遷至此，徐敬川就是河陽徐氏的一世祖。
徐府坐落在縣衙正北，原本是座兩進兩出的小院落，但是因爲家族的興盛，徐府一擴再擴，到光緒年間徐家府宅幾乎佔據了四分之一的河陽城，河陽縣歷來有句俗諺：“河陽縣，徐一半。”
自從一世祖徐敬川高中進士後，徐家的興盛時期就到來了，自明正德到清光緒年間徐家一共考出了九個進士，十四個舉人。特別需要一提的是，在清順治、康熙、雍正三朝，徐家人採取了與朝廷不合作的態度，三朝沒有參加科舉考試。康熙十八年三月，徐家八世祖徐瑜珂被強行拉到京城參加博學鴻詞科考試，結果他故意詩押錯韻，文錯擡格。正在急於籠絡人心的康熙皇帝無奈只好放他還鄉。
一直到乾隆末年，徐家才又開始了科舉考試，這是因爲一百多年沒有人出來做官，徐家在河陽的地位有些動搖，如果徐家再沒有人站出來走仕途這條路，徐家將面臨被河陽人輕視的命運。
嘉慶元年，徐家子弟徐翻在殿試中高中一甲第二名，跨馬戴花遊街，開啓了徐家第二個興盛時代。嘉慶十八年，年僅四十的徐翻累官至戶部尚書，也就是在那一年，他的弟弟徐羽也進士及第。一門二進士，不僅在海右省名聲大振，就是在整個大清朝這樣的事情也不是很多，河陽徐家一時名動朝野。
嘉慶二十一年春天一個風和日麗的上午，剛剛進入軍機處的徐翻忽然聞到一股薺菜的清香味，這縷縷清香把他的思緒帶回到河陽老家、帶回少年時代。
在河陽老家，每到這個季節，他常常放下手中的書本，帶着他的幼弟徐羽去西嶺挖薺菜，他在前面用小鏟子挖，弟弟徐羽提着個竹籃在後面撿。不知爲什麼，挖薺菜的畫面多少天來始終纏繞在徐翻腦海，招之即來，揮而不去。
清明節那天，他做出了一個令人震驚的決定：寫信給在莆田做縣令的弟弟徐羽，約他一同辭官還鄉。
徐羽歷來對哥哥言聽計從，接到兄長的信後，立即上奏皇上託病辭官。徐翻和徐羽的奏摺幾乎在同一天呈嘉慶帝御覽。
一直視徐翻爲肱股的嘉慶帝當然不捨得他離開，無奈徐翻徐羽弟兄兩個的去意已決。
徐翻徐羽此舉無疑是轟動朝野的大事。就徐翻來說，他可能吃透官場之情，諒透官場之險；但是徐羽是青年進士，做官的心正旺，怎麼捨得棄官而去？急流勇退實在是人情之難，然而兄弟之情，血濃於水啊！
徐翻爲官十幾載，胸懷坦蕩，匿人之惡，揚人之善，心寬如海，時人皆贊其爲宰相器。因此還鄉那天，文武百官相送，場面極其感人。嘉慶帝親書一匾“乃兄乃弟是鄉是人”相贈。
從此之後，弟兄二人撫琴西山，行吟龍吟。閱遍天下古籍善本孤本，窮通三墳五典九丘八索。在書法上，徐翻習顏。徐羽追柳，二人皆於顏柳之上獨出新意，自成一體。徐翻善畫山水，徐羽則於人物上見長，二人合作把河陽縣“八景”一一畫出，他們的“龍吟行吟圖”和“西嶺春曉圖”在當時就千金難求了。
有一年，因爲家族的興盛，弟兄二人決定買地建房，北鄰的王財主決定把自己家的一處房子賣給他們，但是王財主不要錢，而是要弟兄兩個合作的一幅畫，除此之外沒有商量的餘地。徐翻徐羽弟兄兩個沒有辦法，只好合作畫了一幅“東郊春行圖”給了他，上面有弟兄二人的題跋和徐羽的一首五言詩。光緒年間王家敗落的時候，這幅畫賣了三萬兩銀子！
自明朝正德年間以來徐家歷代收藏的名家書畫傾城傾國，徐家之富，路人皆知。
徐翻於道光三十年去世，在嚥氣的那一刻，徐羽就在牀前，他並沒有特別的傷感，而是俯身在哥哥耳邊說：“兄長此去，且置好田園，弟稍後即至，”徐翻點頭，含笑而逝。一年後，徐羽與世長辭！
徐家家規：親兄弟不分家；族長有長子擔任；不納妾；不貪墨；不嫖賭；不恃強凌弱……違者死後不準葬入祖墳。現在的族長徐添字文長，前清舉人，是徐敬川十四世孫。
於繼祖和徐家的交往要追溯到於繼祖在安慶跟隨劉銘傳賦閒的時候，當時徐添的父親徐枚在安慶做知府，他經常去拜訪劉銘傳，於繼祖因此就認識了他。二人說話甚是投機更兼同是河陽老鄉，所以倍感親切。之後徐枚又給於繼祖當了回媒人，把同是河陽望族的王家女兒說和給了於繼祖，二人遂成忘年之交，於繼祖對徐枚以“叔”呼之。於繼祖每一次回老家都要去徐府拜訪，這次也不例外。
於繼祖的馬車從東門進城，約有一刻鐘的路程就來到了徐府的南大門口，徐家的南大門左右各有一間門房，大門在中間，門楣上面書有“徐家公館”四個鎏金大字。其實原來門楣之上是“尚書第”這三個字，清政府倒臺之後，原本對清朝好感不多的徐添立即親書了“徐家公館”換下了“尚書第”
於繼祖下了馬車，和於廣源站在徐府門前。
這時，從門房裡走出一個二十歲左右的人，其人打扮得十分乾練，於繼祖向着這個年輕人說：“麻煩你進去稟告一聲，說於繼祖來拜。”
“是鳳鳴鎮於老爺嗎？”年輕人說話非常客氣而得體。
繼祖忙道：“不敢，正是在下。”
“於老爺來還用稟報嗎？請隨我來吧。”青年人馬上叫院子裡的人來牽馬卸車。
接着又向院裡的一個小廝說道：“快去怡怡堂稟告老爺，說鳳鳴鎮於老爺到了。”小廝一溜煙向北跑去。
真是不進徐府不知道什麼是富貴，徐府坐北朝南，房屋設計採用了安徽老家“三廳九棟”建築格式排列，前後共有六處門樓，門額都嵌有石匾，上書“少保第”“良輔亮弼”“碧桃依雲”等等。各門樓都採用通天石柱和石樑、石枋支撐牆體，底部是刻有蓮瓣花卉的石質須彌座。門樓的建築工藝精湛，上有磚石雕刻、斗拱花飾，匾額的枋檁柱頭處也都雕刻有精巧圖案。
剛剛穿過第三道門樓，就見兩個個五十歲左右的男子從北面急急而來，走到於繼祖面前，前面的那個人拱手道：“不知恩成兄駕到，有失遠迎，望乞恕罪。”
“哪裡哪裡，文長賢弟太客氣。”
旁邊的中年男子也上前說：“郭奉孝給於老爺請安了。”
於繼祖認識這個人，知道他是河陽的縣長，於是笑着說：“老父臺何必這樣客氣。”
於廣源也上前問安，奉上一個禮盒，裡面是彭玉麟的一幅手跡。
一番客套完之後，於繼祖對兒子說：“去後街看看你舅。”於廣源答應一聲，與徐老爺、郭縣長告辭後，步行而去。
徐文長徐老爺喊過兩個小廝：“去廚房告訴老吳，準備一桌好菜，有貴客來了！”又對另一個小廝說：“把燃兒和煥兒叫到怡怡堂，讓他們兩個認識一下我們河陽縣的大善人！”
三人邊說話邊向後院走來，在一片修竹隱映之中出現一個月亮門，進了月亮門就是怡怡堂了。怡怡堂名取自論語，“兄弟怡怡”之意。這裡是當年徐翻徐羽書畫之室，非熟識朋友徐文長不會在這裡會客。
一進門，就見一個大火盆放在屋子中間，裡面的木炭燃得正旺，紅彤彤耀人眼目。客廳正北牆上掛着嘉慶帝親書的“乃兄乃弟是鄉是人”匾額。