陈祖德是我非常尊敬的一位棋手，他是第一位战胜日本九段的中国棋手，也是“中国流”的首创者，他在中国围棋史上的地位是不可否认的。
关于我们之间的关系社会上有些传闻，其实我们的关系是很正常的，有些事被夸张或曲解了，在这里有必要说明一下。
我和陈祖德曾经打过一架，而且双方都动了手。那还是1973年在国家集训队的时候，那时我们住在一个宿舍里。本来我们的关系很不错，他水平高，又是我少年时的崇拜对象，所以我一直把他当成“老大哥”。我有个朋友叫江铁成，有一次他来找我玩，看见陈祖德有一本世界名着，就想让我跟陈祖德借，并说保证能还。具体是什么书我记不得了，因为那时我光看棋书，对其他的书都没兴趣。于是我就找陈祖德把书借来，给了江铁成。
过了一段时间，陈祖德要我还书，这也是很自然的事。我就找江铁成要，他说书弄丢了，这一下可把我急坏了，那时还在“文革”期间，像这种世界名着都属于“禁书”，根本就没地方去买。我急得跟江铁成翻了脸，把他臭骂了一顿，可书拿不回来了。没办法，我只好把实际情况向陈祖德说了，我说书并不是我借了看，而是碍于面子帮江铁成借的，现在他把书给弄丢了，没法还你，以后再想什么办法补救。这事确实是我不好，我一再对他表示道歉。江铁成也是罗建文的朋友，他也知道我没乱说。
没想到陈祖德给我来了一句“流氓”！说我是用恶劣的手段把他的书占为己有，说着说着说急了，突然就动手打我。开始我还不敢还手，可他不停手，终于把我打急了，就跟他打了起来。我一生只打过两次架，一次是在农场，那人不给我水喝，我把他打得昏了过去。再有就是这次。我平时不打架，一打就是一副拼命的架势，可能把他打得挺厉害的，当时还引来很多人看热闹。
这事起因是我不对，不管怎么说是我从他那儿借的书，应该还人家。
可是别人把书弄丢了，我也是无可奈何。我知道那本书很珍贵，特别是在那个时期，很可能是冒着很大风险才保存下来的，不像现在随便就可以买到；也许这本书他也是借的，丢了没法向人交代；也许这本书对他也有着特殊的意义。我们棋手有一个最大的原则，不能失信于人，所以他一听丢了火气很大。这些我都可以理解，心里也很内疚，而且直到现在都很内疚。
可再怎么说也不能动手打人呀！这对我的自尊心伤害很大。我现在在围棋队对晚辈棋手，发现谁有不对的地方，我可以说他，甚至“骂”他，但不可以打他，一打就伤害人格了。
这件事发生后，直接影响了我和陈祖德的关系，致使我们只能保持一般的同事关系，不可能成为关系密切的好朋友。我从来没有主动到他家拜访过，都是因为工作打电话叫我去我才去的。
还有一次是1980年在成都举行的“新体育杯”赛上，一天夜里，陈祖德忽然便血，马上送进医院检查，查出癌症，不能参加比赛了。当时我们都不知道他得了什么病，医生保密，跟他本人也保密，我们只知道他的病较重，不能出院。后来他的夫人郑敏之和罗建文专程从北京赶来，在医院陪他。我们还在继续比赛，那年是吴淞笙获得挑战权，我以三比一卫冕成功。
那时我们在外地比赛不是很多，偶尔才能去趟成都。比赛期间，四川的朋友请我、吴淞笙和华以刚等人吃了一次饭。这本是很正常的事，可陈祖德的夫人却不知听信了谁的传言，说我、吴淞笙，还有围棋队的许多人，听说陈祖德得了癌症，在一起喝酒庆祝。真是无稽之谈！陈夫人就此事向金明等中央领导“告状”。本来我还不知道，是金明问我才知道有这回事。
我怒得不得了，怎么能这样毫无根据地“诬陷”别人呢？我把真实情况和金明说了，他本来就不相信我会干这种事，而且涉及围棋队那么多人，怎么可能呢？！
也许陈夫人觉得陈祖德是当时的第一把手，是我把他给赢了下去，因此认为我们有很大的矛盾。其实我从来没觉得我们之间有什么大的矛盾，平时我们的关系还可以，我们可能不是非常要好的朋友，但作为棋手之间的友情是永远都存在的，我怎么可能得知他患了癌症去喝酒庆祝呢？那绝对不是我聂卫平的为人！真那样的话，我这个人未免也太“恶劣”了。
陈祖德一直是我的上级，曾经任中国围棋协会主席、中国棋院院长，至今我都认为陈祖德是一个非常正直的人，各方面都值得尊敬、学习，我和他没有什么利害冲突。虽然当面也争吵过，都是因为在业务和技术上有不同的看法，这也是很正常的。总的来说，我们的关系是正常的，年轻时曾经发生过的一些“不愉快”的事已经过去，我们正本着“向前看”的原则，为中国围棋事业的发展携手共进。