雖然出生於江蘇省松江府川沙縣，但胡適更願意說他是安徽省績溪縣人。
績溪位於黃山與天目山接合部，縣界及境內有海拔千米以上山峰40餘座，重巒疊嶂，溪流縱橫，地勢高於鄰縣，史稱“宣歙之脊”。山脈、盆谷相間，呈“多”字形延伸。中部是貫通南北的斷裂帶，縣城位於斷裂帶中南段的華陽斷陷盆地。清涼峰踞縣境東端，界皖、浙兩省三縣，頂峰及其北坡坐落境內。中部東西向凸起，溪水南北分流，分別入錢塘江和長江。
績溪屬徽州府，在安徽省南部。徽州全境多山，風景雖然秀美，但山多地少，土瘠民貧。因此，徽州人大多離鄉撇井，外出做生意，以善於經商聞名全國，甚至有“無徽不成鎮”的說法。
有人說，這樣的特殊地理生活條件，造就了徽州人的三個突出特點：其一、重鄉黨觀念，以“徽州幫”爲最有名。其二、艱苦奮鬥的精神，有“徽駱駝”、“績溪牛”之稱。其三、重文化教育，出了像朱熹以及胡仔、江永、戴震、俞正燮、凌廷堪、胡培等許多著名學者。
是不是真的如此，還需史家去考證，但有一點是肯定的，徽商和晉商一樣，確是很值得自豪的一族。
有意思的是，這些特點，在胡適身上幾乎都有體現。他以徽州人自居，愛吃徽州鍋，喜歡攀徽州同鄉關係。1953年1月，他爲績溪旅臺同鄉會題辭，寫的便是“努力做徽駱駝”六個字。直到晚年，他爲凌鴻勳編著的《詹天佑先生年譜》作序，仍不忘以詹天佑的“徽州同鄉後輩”自居。對於徽州歷代的幾位著名學者，更是常常念在口中，寫在文章裡，欽敬不已。
皖南的山生得好，綠得深。到了這一帶，勢雖不雄，峰頭卻依得緊，依得密，分不出一點斷處，顯出一種結實的樣子。過雞公關，在績溪城西約80裡，橫起一座大會山，在它的下面，牆色粉白、屋檐青黛的房子散了一片，便是胡適的老家——上莊村。是胡氏聚族而居的一個大村落，是羣山環抱着一塊小小的盆地。山峰蒼翠，聳立村北，像藍天底下綠色屏障，護衛着整個山村。清澄的常溪河，由村西向南，潺潺流淌，穿過楊林石橋，蜿蜒東去。作爲母親河滋潤着上莊的農田。
世代聚居上莊的胡氏，據說始祖昌翼公原非胡姓，而是唐昭宗李曄的太子。因避朱溫之亂，隨義父胡三公逃亡南方，匿居民間，便改從胡姓。後唐同光三年(975)以明經登第，故世稱“明經胡氏”，至今民間仍稱之爲“李改胡”。這些既闊且貴的事蹟卻不見於史冊，很可能是胡氏後裔爲神化擡高他們的祖宗而寫在族譜裡的一種杜撰。
胡氏雖找到了貴爲帝胄的祖宗，遷居上莊以後的六百餘年間，卻並無仕宦顯赫之人。一直到光緒二十年(1894)，胡適的父親胡傳做到了“三品銜在任候補知府臺灣臺東直隸州知州”，要算是上莊胡氏族中最顯赫的官兒了。
胡適的家族，原本不是什麼書香門第，而是幾代經商，做茶葉生意。他的高祖由小本經營，居然在上海的川沙開設了一家小小的茶葉店。他的祖父擴大營業，並在上海華界增設了一家支店。到他父親胡傳做了官，本錢充裕了，生意便越做越興隆。胡傳死後，家裡還留有上海一家裕興泰茶葉店，一家公義油棧，在漢口還有一家兩儀酒棧。只是因爲胡適的父親胡傳的逝去，這些產業也先後隨之而陷入了不景氣。
胡家第一個有志讀書的，就是我們前邊幾次提到的，胡傳的伯父，也就是胡適的伯祖父胡奎照，字星五。可憐他寒窗苦讀十餘載，連個秀才也沒考上，只在鄉里教私塾，人稱星五先生。
胡適出世後剛滿90天，其父奉旨調往臺灣。
胡傳到臺灣任“全臺營務處總巡”，在6個月內將全島考察一遍，這趟壯遊，南到恆春，北至滬尾 (淡水) ，深入後山臺東、花蓮、宜蘭，遠達外島澎湖，親赴全臺31營、28哨、2隊，考察防務設施及訓練情形。接着，辦理臺南鹽務，積弊一清，鹽務大有起色。
1893年，奉委“代理臺東直隸州知州”一職，兼“鎮海後軍各營”統領，大力掃除軍中鴉片，加強後山防務。在臺任職3年6個月，迄臺灣割日，奉命內渡。
胡傳生前最後的官銜是“ 誥授通議大夫、賞戴花翎、江蘇候補知府、前臺灣臺東直隸州知州兼統領鎮海後軍各營屯”，賞加三品銜。
胡傳在臺東州官期間，獎勵農桑，教育原住民；以文官兼武職，整頓營務，鞏固海防，心力大多投注在軍事方面。在他的《臺灣日記與稟啓》裡，詳細記錄了他在臺東將近兩年（光緒19年6月1日至光緒21年閏5月3日 ， 1893.7.13 ～ 1895.6.25）所做的努力。從這些記錄裡，非但可以看出清代末年政治和軍事的一部分情形，也可以知道當時少數知識分子對於時局的態度，以及一個實事求是的讀書人對於改進政治的措施。
這些理想，雖因臺灣割讓日本而未實現，但可以肯定的是，在近代中國邊疆的開發史上，其事蹟足以名垂青史。
到1893年春天，馮順弟便帶着一家子，抱着小兒，去臺灣投親。在胡傳做官的臺南和臺東，度過了將近兩年的很快樂的團居生活。
那時已年過52歲的胡傳。在公務之暇，剪一些紅紙方箋，用毛筆端端正正寫上楷字，教年僅20的馮順弟認字。他們兩人又一起教剛過兩歲的小兒也開始咿呀識字，父親當教師，母親既是學生又兼助教。這老夫少妻稚子三口，享受到了人間很美好的情愛和天倫之樂。到離開臺灣時，母親認了近千字，小兒胡適也認了七百多字。
幸福是那樣短暫，瞬息即逝，悲痛卻來得那樣突然，沉重。中日甲午戰爭爆發的第二年，胡適母子剛離開臺灣，回到績溪故鄉不久，就傳來了他父親胡傳病死在廈門的噩耗。
這家庭的鉅變和不幸，在胡適幼小的心靈裡，留下的記憶是：“這時候我只有三歲零八個月。我彷彿記得我父親死信到家時，我母親正在家中老屋的前堂，她坐在房門口的椅子上。她聽見讀信人讀到我父親的死信，身子往後一倒，連椅子倒在房門檻上。東邊房門口坐的珍伯母也放聲大哭起來。一時滿屋都是哭聲，我只覺得天地都翻覆了！我只彷彿記得這一點悽慘的情狀，其餘都不記得了。”
胡適的母親遭到這般沉重的打擊，當時還只有22歲多2個月零17天，虛齡也只23歲！她在人生的途路上還剛剛邁開幾步，剛剛嚐到一點生活的甜蜜，便青年喪夫，做了寡婦，這是一箇中國婦女的最大的不幸！而她又“以少年作後母，周旋諸子諸婦之間”，再加上家業中落，經濟困窘，如胡適所說，“困苦艱難有非外人所能喻者”。
胡適的母親23歲守寡，一直守了23年，受盡了人生的痛苦和折磨。
因爲丈夫的逝去，年僅23歲的馮順弟成了鄉村大家族的主母。
馮順弟仁慈而質樸，爲主持好一大家子，時時處處小心謹慎，寧願個人受些委屈，也不願弄得家庭不和。婆媳關係歷來難處，何況是年紀輕輕的婆。胡適大嫂二嫂都生的是兒子，一不順心便打孩子出氣，一邊打還一邊說些尖刻話來刺激胡適的母親。馮順弟總是裝着聽不見、忍辱負重，從來沒說一句傷人感情話。但她也是一個講原則人，儘管處事逆來順受，但卻不接受人格侮辱。
胡適的五叔是個遊手好閒之徒，有一天在煙館裡發牢騷、說胡適母親家中有事總請某人幫忙、肯定給他好處不少。不知怎麼的，此話傳到胡適母親耳中。她氣得大哭，請幾位本家來，把五叔喊來，當面質問他她給某人什麼好處。直到五叔當衆認錯賠罪、她才罷休。
這一切胡適都看在眼裡，他的身上留有母親品格的烙印。胡適後來也坦承，他日後好脾氣的養成，和他這段日子的冷眼旁觀很有關係。童年的鄉村生活，對他的一生產生了巨大深刻、無以替代的影響。
馮順弟對胡適既是慈母兼嚴父，又是恩師兼嚴師。她從不溺愛獨子。胡適說：“她從來不在別人面前罵我一句、打我一下。我做錯事，她只對我望一眼，我看見了她嚴厲目光，就嚇住。犯的事小、她等第二天早晨我睡醒時才教訓我。犯的事大、她等到晚上人靜時，關房門，先責備我、然後行罰。”
有一個初秋的夜晚，胡適吃了晚飯，在門口玩，身上只穿着一件單背心。這時候母親妹子玉英姨母在胡適家住，她怕胡適冷，拿了件小衫出來叫他穿上。
胡適不肯穿，她說：“穿上吧、涼了。”胡適隨口答道：“娘（涼）什麼、老子都不老子呀。”（意即老子已經死了或不在身邊。有可能來源於胡適的兩個嫂子說的風涼話。）
胡適剛說了這句話，一擡頭，看見母親從家裡走出來，胡適趕快把小衫穿上。但她已聽見這句輕薄的話了。
晚上人靜後她罰胡適跪下，重重責罰了一頓。她說：“你沒了老子，是多麼得意的事！好用來說嘴！”母親氣得坐着發抖，也不許胡適上牀去睡。
胡適跪着哭，用手擦眼淚，不知擦進了什麼微菌，後來足足害一年多的眼翳病。醫來醫去、總醫不好。
胡適母親心裡又悔又急，聽說眼翳可以用舌頭舔去，有一夜她把胡適叫醒，真用舌頭舔他的眼翳。
馮順弟這種既嚴厲又保護其自尊心教育方式，使胡適從小就懂得正經做人、愛惜名譽，這爲他日後不斷上進奠定了基礎。