邓小平确实在人民心中树立起一块无法磨灭的丰碑！而我能和这样一位伟人有过直接的接触，不能不说是非常幸运的。
邓小平喜欢打桥牌我早就听说过，但水平如何我不清楚，那时我还没和他打过牌。有一次谈到这个问题，我想当然地信口说道，邓小平的牌，就因为他是邓小平，所以不错。我这话比较含蓄，可以有多种含义。一可以理解为因为你是邓小平，水平高，所以打得不错。二也可以理解为因为你是邓小平，别人都让着你。
没过多久，也就是1984年的夏天，胡耀邦请我到北戴河休假。当时邓小平也在北戴河，听说我来了，邀我过去打牌，而且指名和我搭档，我当然是荣幸之至。对方是另一对熟悉的老牌友。对方牌友打牌有时冒叫，邓老爷子抓住他这个特点，动不动就加番。按照正规的叫法应该叫加倍，可邓老爷子总是用四川话叫加番，我们也就都跟着这么叫。
邓老爷子一加番，对方哪里顶得住，被邓老爷子一顿痛杀，真是惨不忍睹！打了几圈，他们一次没赢，我就发现对方的脸都长了，嘴也翘得老高。而邓老爷子仍然是毫不留情，穷追猛打。
当时我就想偷偷“放水”，让他们一把。这位牌友拿牌的姿势永远是“君子坦荡荡”，谁都能看得见。叫牌时我看见他有好多黑桃，而我只有ＡＫ四张黑桃，我就叫了个四黑桃。这回被对手逮着了，给我来了个加番。
这一加番不得了，我宕了六个，输了很多分。这一下对方的脸色好看多了，可邓老爷子见输了这么多，很不高兴地说，小聂，你创了世界纪录了，还宕了六个。这时我才感到邓小平打牌是很认真的，而且牌打得确实好，出乎我的预料。
打完牌邓老爷子留我吃螃蟹，在餐桌上，毛毛突然大声问我，听说你在背后说我们老爷子打牌不行，都是别人让，现在你觉得怎么样啊？你是不是可以坦白一下你的想法呀！邓小平耳朵有点背，她这么大声讲就是为了让老爷子听见。我当时就傻了，我讲的那些话不知怎么传到了她的耳朵里，而且当着老爷子的面给我抖了出来，我顿觉脸上青一阵白一阵的，尴尬之极。我愣了半天，说道，看来我以前的判断错了，老爷子打得确实很好。邓小平听了哈哈大笑，丝毫不掩盖得意之情，天真得像个孩子。
后来在回北京的火车上，老爷子还跟孔祥明说，小聂下围棋是九段，打桥牌可没有九段，他被人家宕了六个。从此以后“宕六个”成了我的笑柄，桥牌界的人都知道，一见面就拿“宕六个”来打趣我。
在北戴河期间，邓小平还叫他的外孙女和外孙子跟我学围棋。当时他们刚十岁出头，并不是专门学棋，只是陶冶一下情操。每天由妈妈送过来，同时还给我带来一个大冰淇淋。教他们是很难的，因为指导一个五六段的棋手对我来说很容易，可让我教一个完全不会下棋的孩子那就很难了，启蒙和指导完全是两回事，但我还是很耐心地教他们。我说我教你们下棋是次要的，主要是教你们好好做人。他们都挺怕我，也挺听我的，因为他们不认识我，只是听说过我。我也摆出一副威严的样子，保持着老师至高无上的权威。
“八一”前，邓小平要回北京出席建军节纪念活动，他说再回北戴河时可以把孔祥明和我儿子骢骢一块接来，并要在专列上请我儿子吃饭。这面子可大了去了，我马上打电话告诉了小孔，让她提前把儿子接出来，做好准备。
可是当警卫局的车来接小孔时，围棋队的领导竟然不同意，说“中办”
没来正式通知。专列马上就要出发了，是不能等的，当时急得不得了，警卫局的人只好给上面打电话，通过一层层传达下来，这才放行。
我儿子当时还不到三岁，长得挺可爱，邓小平见了很喜欢，让他叫邓爷爷。可我们这儿子不争气，就是不叫。邓小平也特绝，不住地说，你就叫我一声邓爷爷嘛！叫我一声嘛！好像是在求他。可他就是不叫，死拧，到最后也没叫。邓小平还是很喜欢他，并让小孔转告我：你这个儿子很好，将来结婚找媳妇的时候，要报告我，我批准才可以。当小孔把这话转告我时，我真是受宠若惊。那时邓小平的精神多好呀，他让我儿子结婚时报告他，说明他对自己的健康充满信心。遗憾的是我儿子还没到结婚的年龄他就先走了。
1991年，中国女队在日本横滨举行的世界桥牌比赛中荣获第三名，回国后，邓小平在人民大会堂接见了她们。接见之后进行了一场桥牌友谊赛，由邓小平和丁关根搭档，结果把中国女队打得落花流水。邓小平的牌感很不错，他打的体制是精确叫牌法，叫牌偏冒一点，往往出人意料地打一个很大的约定，而且最后证明大多数是可以完成的。
有一次邓小平、胡耀邦、丁关根和我正在大会堂一一八房间打牌，突然杨尚昆进来，后面还跟着几个人。我见是国家主席进来，便主动站了起来。邓小平连忙说，别动！别动！打牌嘛！打牌嘛！我只好又坐下。这时杨绍明急忙抓拍了几张照片，后来这张照片发表在他的画册上。
邓小平曾笑称自己之所以保持健康是四个原因：一打桥牌，二游泳，三吸烟，四喝酒。
他吸烟也有个习惯，从来都是自己点，而且是用火柴，不用打火机。
谈到吸烟，邓小平曾亲口对我说过吸烟有十大好处，比如口腔卫生、提神、使大脑充分发挥、增加国家税收等等。因为我也吸烟，对他的看法颇为赞成。这件事得到邓朴方的证实，但具体的哪十大好处他也记不清了。后来在医生的劝阻下，邓小平终于戒了烟，邓朴方也戒了，我却始终没戒。
1985年，解放军准备成立八一围棋队，希望我能去，并表示如果我去了，给我正军级待遇，房子也特别好。我很想去，可我不好跟北京队讲，北京队对我一直不错，在我还在黑龙江时北京队就给我房子了，我对北京队还是很感激的。可是那边的条件确实不错，我也想换个环境。我把这事和毛毛讲了，她表示愿意帮忙。
一次和邓小平一起吃饭，毛毛对老爷子说，聂卫平想到我们解放军来，我们解放军是不是收他？她是想让老爷子表态。邓小平不说话，也不表态，就在那笑。毛毛说，你笑就是默许了。接着又问，是不是默许了？邓小平还是笑，不回答。这时毛毛就对坐在旁边的万里说，万叔叔，你看老爷子默许了，你跟北京市打个招呼吧，让北京市放他，到我们解放军来。万里说，老爷子默许我就办。
可第二天我就犯了一个重大的“错误”，我去找胡耀邦汇报了。耀邦当即表示不同意，问我，你为什么要到解放军去？你现在不是在北京吗？我一听就傻了，没法回答，只好把解放军的待遇如实说了。耀邦马上批评我说，你就考虑你自己的待遇，这怎么能行啊！我当时真是有种无地自容的感觉，以后再也不提此事了。
后来在邓小平亲自批示下，解放军正式成立了八一围棋队，孔祥明去了，授予正团级。
个人的事我从来没有向邓小平提过，这次是毛毛提的，没办成还挨了胡耀邦的一顿批。但其他事我向邓小平提过两次。一次是受中国桥牌协会之托。1987年“全运会”在广东举行，但是没有设立桥牌比赛的项目。中国桥协的人找到我，希望我和邓小平说说，能把桥牌列入“全运会”的比赛项目。我说这是好事，你们自己去说多好，他们表示很为难，没法子，我只好答应他们。
为了更有把握些，我拉上邓朴方，找了个合适的机会跟邓小平说了。
邓小平表态，可以嘛。于是桥牌列入“全运会”的表演项目，但不是正式比赛，只是表演项目。但后来没有坚持下来。
在和邓小平的接触中，我感到他是一个人情味很浓的人。国庆四十周年的庆祝晚会上，我因是政协常委，被邀请上天安门城楼观看焰火。邓小平刚一出来，便被一层层的人包围住了，我无法和他接近。我想那么多人，他肯定看不见我。没想到他发现了我，并微笑着和我打了个招呼。我当时觉得他既是一个伟人，也是一个普通的人，有着和普通人一样的感情。
1976年全国围棋比赛期间，“批邓反击右倾翻案风”的运动也达到高潮。我当时是全国冠军，说话有影响，于是上面让我代表全体队员在大会上做表态发言，遭到我的断然拒绝。后来在围棋队内的“批邓”会上，有人提出应该撤销邓小平的副总理职务。当时邓小平已被撤销了党内职务，但仍保留着副总理的职务。我当即表示不能撤，我说这两年邓小平抓治理整顿还是有成效的。我的态度在国家体委引起强烈反应。其实那时我还不认识他，他也正处于逆境之中，我对他就是一种天然的好感。
邓小平去世后，我见广大人民群众自发地举行各种悼念活动，场面非常感人，于是在全国政协会议上写了个提案，希望中央能拍一部反映群众悼念邓小平的大型纪录片。在邓小平去世一周年的前夕，我突然收到中央文献办公室打来的电话，说江泽民总书记对我的提案非常重视，目前悼念邓小平的大型纪录片已经完成，江总书记还题了片名《丰碑》，即将在中央电视台播出。他是受中央委托，给我一个答复。
这部纪录片我从头到尾看了，邓小平确实在人民心中树立起一块无法磨灭的丰碑！而我能和这样一个伟人有过多次的接触，不能不说是非常幸运的。