很长一段时间里，贫穷和政治痛苦成为缠绕潘家不散的阴霾。
后来，当潘石屹赚得盆满钵满、名震天下的时候，一拨又一拨的记者不厌其烦地追问他对贫穷、饥饿的回忆，他“如祥林嫂似的”一遍又一遍讲述他童年的饥荒。这被理所当然地视作一个亿万富豪发家传奇的几个花絮、一篇花团锦簇文章的几处闲笔。
但是，贫穷对于当年的潘石屹，以及他的父母、他的妹妹弟弟来说，意味着困厄、煎熬、羞耻，甚至屈辱。由于潘家是队上唯一的地主成分，队上搞批斗只能选择潘家。批斗、贫穷、病患、苦难层层地向潘家压了下来。
当年的天水农家少年，与当下的SOHO中国董事长，中间是看似无法跨越的鸿沟。前者鼓足全部勇气、穷尽全部想象力，既想象不到、也不敢想象，他的未来是200亿元身家的中国富豪。2010年SOHO中国销售额达238亿元，位于北京核心地区的、富有未来科幻世界气息的银河SOHO创下了中国单体项目年销售额最高纪录：146亿元。
当时，潘家是潘集寨最穷困的一户人家。潘石屹母亲毛昭琴1973年就瘫痪卧床。家里唯一的成年劳动力是潘石屹父亲潘诗麟，潘石屹自己算半个。那时候，潘诗麟最大的愿望是“全家人不饿死”。而他卧病在床的妻子，最大的愿望不过是全家人一人一床被，起码能不冻着。冬天，潘石屹一家子一半的时间在床上，两三个人挤在一床被子里取暖。在潘石屹的记忆里，童年有两年因干旱发生严重的饥荒。村里六七成的人都逃荒要饭了，潘家没有。潘诗麟常说一句话：“你看，村子的人饭量都很大，吃得多，我家吃得少。所以别人逃荒要饭了，我们没有逃荒。”这只是自我安慰，一般是别人吃干饭，潘家喝稀饭。在潘石屹的记忆里，他小时候主要是吃玉米面，高粱、小米都是不常吃的东西。只有逢年过节或者办喜事的时候，才能吃到小麦细粮。
潘石屹是老大，他有三个妹妹一个弟弟。二妹一度送给别人，又要了回来。最小的妹妹因为母亲太饿没有奶水，而送给了一户姓董的人家。当时毛昭琴唯一的要求是：“谁家有奶羊，就送给谁。”这家姓董的，在八百里秦川的陕西，家里有一头奶羊。
若干年后，在北京朝外SOHO，讲到激动之处的潘石屹伸手虚指远处：“天水往东，翻过秦岭，就是八百里秦川。”那是天水人向往的富裕地区。
1994年年初，已经在海南房地产挖到第一桶金的潘石屹，和冯仑来到西安。万通准备在西安建一个“二十一世纪广场”，花钱将西安最繁华的地方拆掉。冯仑在《野蛮生长》一书中回忆：“一天清晨，我和潘石屹在西安溜达到马上要拆迁的地方，蹲在一家小餐馆前吃面，心想，吃完这碗面条，你们的命运就改变了；我们俩小屁孩儿拿张支票一交，这一片所有人的命运就从此改变了。而这里是西安最繁华的地方，是我心中很向往的地方。就是那次，潘石屹跟我说，他原来最大的理想就是到西安。现在忽然间，我们俩以花钱拆迁的方式都成了这片土地的主宰，内心能不得意和狂喜吗？”1979年离家去读中专的少年潘石屹预料不到15年后的这一天。当时他烦恼的是，如何在没有一分钱生活费的情况下，在学校活下去。
中专在省城兰州。潘石屹离家求学，家里一分钱也拿不出来，只给他买了一张上兰州的火车票。潘诗麟送儿子去火车站。当时潘石屹只有16岁，因为生活不好，发育慢，长得很瘦小，只有一米五多一点。他背着一床棉被，被子里包着一件棉衣和一条裤子。这就是他带走的所有家当。潘石屹瘦小的身躯背着棉被，一步一步地挪动，慢慢消失在火车站长长的甬道里。望着儿子的背影，潘诗麟这位中年汉子再也忍不住，蹲在地上啜泣起来。
回忆往昔艰难生活的时候，潘诗麟语气轻松，那已是过往云烟。唯独忆起儿子在火车站渐渐消失的瘦小背影，他哽咽起来：“为什么那时候家里就那么穷啊？”
他用手背搓了搓眼睛，又擦了擦鼻子，神情因激动而有些恍惚。他说，看到孙子条件很好，想起大儿子当初，心里很不好受。这是他最心酸的事，他和老伴觉得亏欠大儿子太多了。
如今的潘诗麟，和小儿子、潘石屹弟弟潘石坚住在SOHO现代城一套300平方米左右的复式房里，平常潘石屹只要有空，都会来看望父亲，一起聊天、吃面。另外，潘石屹每次出远门回来，也必定先来看看父亲。
少年时期，潘石屹需要为五分钱烦恼。在他的心里，钱是万能的，可以解决一切。那时候，钱都是一分、两分、一角、两角的，一元就是很大的数字。对潘石屹来说，钱第一就是能看病、买药。自潘石屹有记忆起，当地一直是合作医疗，无论中药还是西药，所有的药都标价五分钱。为了给潘石屹母亲看病，就得凑够五分钱。五分钱，足以缓解病痛、延续母亲的生命。当潘石屹离家读书的时候，最大的愿望是，他希望他下次回家，能看到母亲坐起来，坐在床上等他。这是他最大的幸福。