有一个安定的家庭环境，没有后顾之忧，心里就不容易躁，就容易发挥水平。
我和孔祥明在1965年就认识了，那时她作为成都的代表，我作为北京的代表，一起参加了在成都举行的全国少儿围棋比赛，那年她十岁，我十三岁，还处于少年时期。
1973年国家体委组建围棋集训队，我和她都应召入队，这样她来到北京，我们开始朝夕相处。这时她已经出落成十八岁的少女，我也二十一岁了，正所谓青春年华。由于过去就认识，我们之间的关系很好，经常在一起摆棋复盘，谈经论道，奇怪的是我从来没有往其他方面想过，只把她当做一个很不错的小师妹。
1973年我们集训队到成都巡回比赛，认识了不少四川下棋的女孩。那时我虽然刚从农场回到北京，还没进入职业棋手的角色，但在年轻人中棋力高一大块，她们水平低，都愿意跟我学棋。
在学棋过程中，有三个女孩同时向我发动猛烈攻势。其中有一个姓贺，是一位省长的女儿，我对她的印象最好，我们的关系很快就发展到白热化程度。我曾对罗建文讲，我这辈子可能就交给她了。我到过她家，她也来过我家，双方的家长都很满意，认为万无一失。
可就在这时情况突然发生变化。小贺和我一样，喜欢打牌，按说有共同的爱好是件好事，可她特别好强。1976年在安徽参加全国比赛间隙，我们围棋队的几个人在一起打牌，她和我搭档，因为打牌我们发生了剧烈的冲突，冷静下来后，我认识到我们都太好强了，不知道互相谦让，将来在一起生活肯定不幸福，因此我十分理智地决定和她分手。
后来她曾找我希望挽回，我表示已无可能。我没有告诉她原因，就说咱们完全不合适。那时正是日本人捧我为“聂旋风”之后，围棋队的人都认为我地位变了，把人家给甩了，觉得我太不像话，全国围棋界也对我印象不好，但我始终没有解释过。
几个月后事情发生变化，过去谴责过我的人也觉得可以理解我了，可能是有人透露出事实真相。后来小贺去了加拿大，在那儿结了婚。我由衷地祝愿她幸福美满。
和小贺分手后，有不少人为我介绍过女朋友，有一次一天就给我介绍了十来个，搞得我眼花缭乱，这也不错，那也可以，不知道该跟谁好，可最后一个也没成，甚至连名字都没记住。
这期间要说给我印象最深的是个叫小白的女孩，她父亲是国家体委的干部。她对我挺好，也很主动，晚上老到我们宿舍来找我。我不觉得她特别好，也不觉得她不好，只觉得可以交往，试一试。那时我正带马晓春，他还很小，才十四岁，不大懂男女感情之事，整天围着我转，赶都赶不走，小白想趁没人时跟我亲热一下都不行，所以小白特别讨厌马晓春。父亲住院期间，小白还主动去医院看过我父亲，我也到她家去过几次。
交往了一段时间后，我觉得我们之间不合适，我父亲和我姐姐也都反对，于是我想和她分手，可我不知道怎么跟她说，也不敢去说。我就拉上华以刚一块请小白吃烤鸭，吃完饭我找个茬先溜了，让华以刚替我跟她说不行。之后华以刚对我说，他这辈子就干过这么一件恶劣的事。
这件事对小白的打击非常大，不到一个月她就和一个日本人结了婚，之后去了日本。后来我在飞机上碰到过她两次，还谈了话，没什么感觉，不像跟章娅似的。
还有一次在人民大会堂碰到周寺观老人，他是老政协常委，跟周总理关系特好，在民主人士中有很高的威望。他也要帮我介绍女朋友，并保证让我满意，最低也是九十分。我没法拒绝，就如约来到他家。
我刚走进客厅，就看见沙发上坐着一个女孩，长得确实漂亮。周老给我们介绍完就闪开了，我们就在客厅里聊了起来。开始她给我的印象还不错，可是聊了一会儿我发现凡是谈的带有知识性的话题她基本上不懂，她只对认识名人，挣多少钱感兴趣，给人的感觉名利心很重，素质不高。我对她没有再见面的欲望。我当时不太懂，在正常的情况下谈到这种地步就应该早点走了，可我和她一直侃到夜里两三点，困得不得了，也没地方去了，只好在周老家的沙发上凑合过了一夜。周老见我们谈了这么长时间，还以为成了呢。
我爸爸也给我介绍过他们单位一个老同事的女儿，这个最难办，他问我怎么样，我只能说还不错，实际上根本不行。她人是真不错，挺能说，也很有知识，各方面都挑不出毛病，可就是没感觉，这是最致命的一条，反而不好意思说。我就采取消极的态度，她感觉到后自己就算了。
在一个个都不行之后，我的婚姻成了“老大难”。1979年国家围棋队到日本访问比赛，我和孔祥明都去了。在一次和日本棋手的聚会中，大家互相开玩笑，一个日本棋手说，陈加锐对孔祥明有意思。陈加锐原是我国的七段棋手，后去了日本，那天也来了。这时我们的一名棋手马上反驳说，你瞎说，孔祥明早就跟聂卫平了，根本不可能跟陈加锐。
本来我没有认真考虑过这个问题，可当着那么多人的面猛地提出来，显得特别敏感，而且我突然发现小孔真的对我很好。这有点像我们棋手下棋，有的时候需要长考，一长考就是一两个小时，可决心一下，“啪”的一着就解决了。我的婚事就“长考”了几年都没结果，在那个偶然的场合一下子就给捅破了。我半开玩笑地问，这是真的吗？我这是试探，把球踢给了小孔。小孔在众人的目光下扭扭捏捏地说，可能是真的吧。她回答得很微妙，没有明说，但我马上就明白了，这是真的。
回到北京后，我们很快就结了婚，真是“众里寻她千百度，蓦然回首，那人却在灯火阑珊处”。
小孔在围棋上对我的帮助是很大的，特别是在精神上给我很大的鼓励。还在擂台赛之前，她就鼓励我要敢赢日本的超一流棋手，那时中国棋手还没有战胜日本超一流棋手的记录。我说即使我不行，我后面还有我的学生。她说不对，在你能完成的事，你为什么要留给后人呢？！她还说，你有能力把棋下好，什么样的日本人你都能赢。
这番话对我真是刻骨铭心，她说这话时的情景至今历历在目。以后的实战也证明她的话是对的，我战胜过所有现役日本超一流棋手，做了我应该做的事，在我成功的后面，有小孔很大的功劳。
1981年，我们的儿子降生，那时我不在北京，正在外地参加全国比赛。
按照预产期计算，我知道她已经生了，可那时通讯还很落后，很难打长途电话。回到北京，我就给家里打电话问是儿子还是女儿。我当时打算如果是儿子我立刻就赶回去，如果是女儿我就先洗个澡收拾收拾再回去。说实话，我是喜欢儿子的，有点重男轻女的封建意识。
我弟弟接的电话，他告诉我是儿子，我放下电话立刻就回去了。我进屋时，小孔躺在床上，儿子就在她旁边。我第一眼看见他时都不敢相信这就是我的儿子，他长得很小，小极了，样子非常可爱。我把他抱起来，心里特得意。我给他起名聂云骢，意思是云中的骏马。
离婚之后反思我们的关系，我认为有一步最大的“漏算”。在事业上我们有共同语言，这是没得说的；在家庭生活中她也很能干，持家是一把好手，另外很会关心人，这些都是她的重大优点。我们“漏算”的是两人的个性，或者说是兴趣爱好。可以这么说吧，除了围棋之外我们的兴趣爱好截然相反，作为朋友这无所谓，可是作为夫妻问题就严重了。
比如我喜欢打桥牌，有时还把人招到家里来打。小孔对打牌反感之极，短时间还问题不大，长时间就无法容忍了。没办法，我就出去打，很晚才能回来。她明知我去打牌还要问怎么这么长时间不回来，问得我很烦。她还特别讨厌我和女牌手一块打牌，认为我打牌是假的，和那些女的来往是真的，说的话都出了格，这也使我无法忍受。打桥牌本来是一种很好的业余爱好，对我来说也是一种调剂，有什么不好？可她就偏偏反对。人就是这样，你越不让我打我偏打，还就跟女的打，故意让她看。在打牌的事上我们搞得很僵。
另外我还喜欢足球，可以这么说，凡是争胜负的我都喜欢。这个她也不喜欢，而且一点都不看。我多次跟她讲你也陪我看一场足球，可她从来没给过我这个面子，直到我们的关系出现危机时，她才陪我到外面看了一场，当时我们双方都在努力尽量做得好一点，实际结果却是没用的。
相反，她喜欢的花样滑冰、花样游泳、艺术体操、音乐会等等，我是一点兴趣都没有。我记得我陪她听过一场音乐会，我真是太难受了，异常的痛苦，虽说是陪下来了，可心想下次再也不干这样的事了。我认为最大的失误就是婚结得太仓促了，如果多聊聊、多接触一段时间就好了。
有一段时间，报纸上猛烈地宣传我们夫妇如何如何，还称孔祥明为“贤内助”。我记得“贤内助”这个词就是那时叫响的。我看了报太难受了，因为那时正是我们的关系最危险的时候，而且我还不敢动。邓小平请她吃饭、坐专列，还说我们四川姑娘怎样怎样，我哪敢动呀！我一直顾及邓老爷子，所以就那么维持着。
孔祥明作为一个朋友是极好的人，她本人也曾获得过全国女子冠军，但她的个性太强，作为妻子对我来说就不太合适了。有一次，在一个公众场合，有人介绍她时说，这是聂卫平的太太，她马上站起来更正：我有自己的名字，我叫孔祥明。弄得我非常尴尬。这种事发生了不止一次，明显让人感觉到我们关系不好嘛。
后来我们发展到吵架，经常是我出去参加重大比赛之前，她就要找点茬儿吵上一顿。比如和林海峰争夺“富士通”冠军，和曹薰铉下“应氏杯”……我说能不能不吵了，马上要出去比赛，而且是争世界冠军。我不是埋怨因为她我才输了，我是说比赛前有个好的心情，至少是个有利的因素。
有一个安定的家庭环境，没有后顾之忧，心里就不容易躁，就容易发挥水平。擂台赛期间我心里就特别平静，所以发挥得特别好。
我和孔祥明最后的裂痕是我认识了王静，在此之前孔祥明她不断提出离婚，是我没同意。首先是影响太坏了，那时报纸上都在宣传我们这对“模范夫妇”，其次儿子当然要归她，这我也难以接受，所以一直维持着。后来王静怀孕，又不肯把孩子打掉，使事态急转直下，我迫于无奈，才正式向她提出离婚。
小孔对此早就有思想准备，很平静地接受了。她提出把儿子带走，并帮他们做好去日本的安排。这本来都是应该的，她不说我也自然会办。小孔是个很要强的人，在经济上她没提出一点要求，就连当时比赛的奖金，虽不多，但对他们来说还是重要的，她都不要，如数还给了我。他们母子到日本后，我通过在日本的朋友尽量给他们安排得好一点。
办离婚手续那天，我们把儿子也带去了，那年他十岁，在办事处大哭，不让我们离。我也是不愿意，舍不得啊！我是真的没办法，心情很矛盾。在我离婚这件事上，几乎遭到了亲友的一致反对，没人希望我离。我妈妈大骂我，你怎么能这样？！她思想正统，说得也难听。邓朴方专门把我找到他家里，批评我太不检点了，不同意我离婚。伍绍祖、李富荣等我的直接上级和朋友找我谈话，做工作。万里委员长虽没明说，也是很不以为然。姜昆最绝，一见面就说，原来你也是人啊！我们都以为你不是人是圣呢！话虽幽默却不乏挖苦之意。社会上骂我的就更多了，对我产生了很大的压力。
我当时也是没办法，这有点像下棋，走错一步，步步皆错。小孔有很多的不是，其实我心里都可以原谅她，她对我的事业毕竟帮助很大，而且她为此做出了巨大的牺牲。即使后来我们之间已谈不上多深的感情，我觉得也还可以为她忍耐，为儿子忍耐，就这么凑合下去。这世界上有多少凑合的夫妻啊！可当时确实没办法，王静肚里的孩子怎么办？她是坚决不打。我也不能甩手不认这个账，我那时真是惶惶不可终日，每天不知道该干什么，比赛也一塌糊涂，而王静的肚子却一天比一天大，什么叫烦，那真叫烦啊！后来我想，作为一个男人，应该为自己的行为负责，为王静负责，也为那个未出生的孩子负责，我只有离婚这华山一条路了。
我和小孔离婚后，骢骢一直跟着她在日本学棋，后来她给他改名叫孔令文。他回北京从来不去我家，也没见过王静，他都是到棋院来找我，我怕触动他也没和他谈过弟弟的事。他跟我说很想回来学棋，我说我跟你妈妈说过，我希望你能回来学棋，国内条件会更好，提高得快。他目前的棋力还不行，十六岁在日本还没入段，如果在国内都是国手了。他不能继承我的事业挺遗憾的，不过还没有一个棋手的儿子能继承自己的，藤泽秀行的儿子水平也不行，他要是能行就成奇迹了。不过我还是希望他回来好好培养培养他。也不是小孔不让他回来，是日本棋界的规矩不让他回来，入了段就可以回来了。1998年，孔令文在日本入了初段，前不久中央电视台还播了一个片子叫《一生用命》，介绍了他们母子在日本的生活经历。
现在小孔经常回国，作为夫妻我们不太合适，但作为朋友关系还不错，经常在一块吃吃饭什么的，还一起参加混双比赛。她有个男搭档，我有个女搭档，去年我们就输给了他们，我那个搭档笑嘻嘻地就把所有的责任一股脑儿推给我，说我故意输给她。其实我不是故意，就是下不了狠招。我很不愿意下这样的棋，而且我跟她下棋感觉也比较奇怪。今年我们又遇上她，真是“冤家路窄”，在关键的时候，我又下了一步缓棋，被人家抓住，最终导致败局。