1979年，我的围棋事业似乎达到了巅峰状态。这一年里，我不但在第五届全运会上，第四次蝉联了全国冠军，还获得了第一届“新体育杯”赛冠军和在东京举行的第一届“世界业余围棋锦标赛”冠军。除此之外，在和日本九段高手的全部二十五局比赛中，我胜十六局，和两局，负七局，为此我荣获了国家体委颁发的体育荣誉勋章，并被评选为首届全国“十佳”运动员。
根据我的比赛成绩和竞技状态，当时棋界有很多人认为，今后的十年仍将是聂卫平的天下。就这种看法，曾有人问过我的感想。我回答：十年毕竟太长了，我不敢说就没人能超过我，但是起码五年之内，不会有人能够威胁我。说这话的时候，真是踌躇满志啊！
不料，就在我笑傲棋坛之际，一阵冲击聂卫平的疾风已在我脚下卷起……1980年初秋，全国比赛在四川省乐山县的凌云寺东坡楼举行。凌云寺是着名的旅游胜地，闻名中外的“乐山大佛”就在此处，可我却没能乐得起来。
在此之前，我们先到昆明参加了一个“云子赛”，我又以全胜的战绩获得了冠军，所以对这次全国比赛是信心十足，大有“冠军非我莫属”之势。
没有想到第二战对河南小将刘小光就马失前蹄，顿时给我的卫冕投下一道不祥的阴影。
本来胜败乃兵家常事，可我卫冕之心太切，一受挫折就急躁起来。第四局对马晓春，竟然一反自己的棋风，主动去和对方乱拼乱斗，结果再度败北。以后便“兵败如山倒”，接连败给了陈祖德、华以刚、黄德勋，最后连前六名都未能进入。
这真是一次名副其实的惨败，不仅我做梦都想不到，而且整个棋界都感到震惊。《体育报》还将我的乐山惨败列为1980年的十大体育新闻之一。舆论界的看法是：乐山之役，无疑标志着聂卫平独霸棋坛的时代已经过去，刘小光、马晓春等新秀正在迅速崛起。当然还有更多的人在惊讶之余，感到十分迷惑，纷纷猜测：聂卫平是怎么搞的？是不是真的要“改朝换代”了？
其实真正的原因只有我自己心里明白，只是不便说出口罢了。从乐山铩羽归来之后，我曾仔细地研究了自己的全部对局，不可否认，刘小光、马晓春等青年棋手确实有了长足的进步，我们之间的差距大大缩小了，但我确信他们还没到足以击败我的程度。我还是败在我的失常表现上。我为什么会如此失常呢？这要从我们新来的领队胡昌荣说起。
胡昌荣是个很认真的人，学识也很渊博，我们经常在一起聊天。他也是久病成医，有一次他对我说，他认为我内分泌有问题，建议我去医院看看。我真的去了同仁医院找了一个很有名的老中医皖海洪看了，他说我是阳太盛，造成阴阳失调，需要调整。他让我吃中药。我说吃中药没问题，可我不喜欢吃需要熬的汤药，一是我没时间熬药，二是我也不会熬。再说我经常到外地比赛，总不能到哪儿去都背个药罐子呀！我提出能不能吃丸药。他说丸药没有现成的，但是可以到药房去做。于是我拿着他开的药方，到各药店去配，配齐了拿到药房制成一大批丸药。
我当时把药方给胡昌荣看过，他说皖大夫下手特别重，但我必须遵医嘱，什么都听大夫的。开始我有点不太适应，可过了几天之后就觉得离不开了，而且效果特别好，吃了它觉得脑子特别清楚，真是心明眼亮，下棋老赢，我还以为自己水平提高了呢，很是高兴。
在去乐山前我先去了昆明，参加“云子杯”全国邀请赛，我以为带的药足够了。赛后我从昆明直接就到乐山，一到乐山我发现药没了。药的劲儿很大，我也已经习惯，突然不用了，说得不好听点，就像突然戒了毒似的，那几天我简直难受极了，晚上觉都睡不好，经常失眠，白天也没精神。那次比赛我真是逮谁输谁，而就在一个星期前，我在昆明是逮谁赢谁，一盘也没输。
这件事我始终没有对外讲过，我怕人家说我输棋了，就找借口。现在我讲出来的意思是说，人不是计算机，在比赛中，除了技术之外，人的情绪、思想、心态、疲劳程度，甚至健康状况都能起很大的作用，如果调整不好，就会对比赛产生很大的副作用。
这次使我知道了药的厉害，尽管对我确实有用，以后也不敢再吃了。
万一再出现没药的情况怎么办，还是不吃为好。
这次比赛，由于我的惨败，使刘小光和马晓春分获冠、亚军，一下子就起来了。这有点像宫本直毅输我的那盘棋，有时候老棋手就是要输给年轻棋手才能把他们扶起来，就像用自己的肩膀让他们踩一下就上去了，不管你愿意不愿意。这确实是很“残酷”的，但这是竞技场上的规律，不以人的意志为转移。
不管怎么说，乐山惨败向我敲起了警钟，要想夺回失去的冠军绝非易事，今后等待着我的将是更为艰难的征途。
1981年，我又恢复了本来面貌，在温州的全国比赛中，我势如破竹地战胜了所有的强手，以较大的优势将冠军重新夺了回来。但在赛程中却输给了实力相对较低的罗建文，我都看不懂是怎么输的。罗建文的棋风飘忽不定，变幻莫测。我在“轻灵转身”方面向他学到过不少东西，可惜他的棋有时“轻妙”得有些过分，显得力量不足。我常开玩笑地把他的棋称为“轻骨头”。如果罗建文把棋下得厚一些，他的棋一定很厉害。但不客气地讲，罗建文是个不太用功的天才。1980年以后，他的兴趣曾一度转到烹饪上，拿他自己的话来说，就是“烹调技术越高，棋下得越臭”，当然，这是他的自嘲。可有趣的是，在这次全国比赛中，他逮谁输谁，连吃败仗，却偏偏赢了分获冠亚军的我和马晓春，这也真够绝的。于是他诙谐地宣称，这是由于刀下不斩无名之辈的缘故。
接着，在“新体育杯”中，我以三比零的压倒优势击败了挑战者曹大元。此外我还获得北京棋院举办的第一届“国手战”冠军。这样，在一年之内，我把当时国内所有的围棋比赛的冠军，通通夺了过来，集三冠于一身，又成了棋坛的“霸主”。