黄池之会后，吴国迅速衰落，多年来一直受到吴国控制的鲁国获得了喘息的机会。公元前481年春天，鲁哀公带领群臣狩猎大野（今山东省巨野境内），叔孙州仇的家臣子鉏商在巨野泽中猎获一头奇怪的动物，体型像鹿，尾型像牛，全身鳞甲，头上独角。这怪物把大伙都吓坏了，以为是不祥之物，但又不敢妄下结论，不知如何处理。有人突然想起，孔丘博古通今，无所不知，连防风氏的骨头都认得，想必也能认得出这头怪兽。人们于是将怪兽送到孔丘家里。孔丘看了之后，很肯定地说：“这是麒麟。”至于麒麟究竟是什么动物，后人一直争论不休，现代生物学也给不出一个结论，有人认为是天上有地下无的神兽，有人认为就是非洲来的长颈鹿，本书作者学识有限，在此不进行讨论。
这一年，孔丘七十一岁。两年前，他才结束了十余年的流浪生活，回到曲阜。
孔丘从大司寇任上离开鲁国，是公元前495年的事。据《史记》记载，当时齐景公对孔丘十分忌惮，曾问自己的大臣：“孔丘在鲁国为政，鲁国必然强大，对齐国大大的不利，有什么办法可以让他离开？”有人建议说，最好的办法是让他感到沮丧，心灰意懒而自动离开。于是齐景公在国内精选美女八十人，让她们穿着性感的衣服跳舞；又挑选了一百二十匹好马，训练成舞马，可以随着音乐的节拍而翩翩起舞。这两百人马杀到曲阜，立刻引起了轰动，季孙斯微服前往观看了三次，仍然觉得不过瘾，干脆向鲁定公请了假，成天泡在戏园子里观看演出，不理政事。季孙斯的家臣，孔子的学生仲由都看不下去，对孔丘说：“先生可以走了。”孔丘闭着眼睛，思索了半天，说：“今天国家要举行郊祭，如果大夫们还能分到祭肉的话，我就留下。”在孔丘看来，所谓国家大事，无非“祀与戎”，就算鲁哀公和季孙斯不理朝政，只要在祭祀的时候表现得像个样子，也就可以了。没想到季孙斯接受了齐国送来的美女和舞马，连续三日没有上朝，祭祀的时候也没给大伙儿分肉。孔丘万念俱灰，果断地带着学生离开了曲阜。
大夫师己听到消息，跑出城去送行，说：“这实在不是老师您的过错啊！”言下之意，错不在你，你又何必走呢？孔丘的回答是：“我可以唱首歌吗？”没等师己反应过来，孔丘已经扯着嗓门唱开了：“那妇人的口啊，可以让人出走；那妇人的话啊，可以叫人身败名裂。悠闲自在啊，聊以消磨时光！”师己回去后，季孙斯问他孔丘说了什么，师己如实相告。季孙斯喟然长叹，说：“他这是为了那些女人的事在怪我啊！”不过叹归叹，曲阜城内舞照跳，马照跑，仍然是一片歌舞升平。
孔丘师徒离开鲁国，第一站来到卫国的首都帝丘，开始寄居在仲由的大舅子家里。卫灵公听说孔丘来了，马上召见他，问道：“您在鲁国拿多少年薪？”孔丘说：“六万。”六万不是人民币也不是美金，而是粮食六万，具体是什么单位，史料上没有明说，有可能是六万斤，这在当时足以支撑起一个家庭的体面生活了。卫灵公马上开给孔丘六万斤粮食，让他安心在卫国生活。然而不久之后，有人向卫灵公说孔丘的坏话。卫灵公耳朵软，派大夫公孙余假出入孔丘的住处，明为探访，实为监视。孔丘也是个政坛老鸟了，怎么会看不穿这等把戏？于是只在帝丘居住了十个月，便主动离开了。
孔丘打算前往陈国，经过匡地（今河南省境内）。弟子颜高为他驾车，进入匡城的时候，拿着马鞭指给孔丘看，说：“我曾经到过这里，当年就是从这个缺口进城的。”这个动作让城墙上的守卫看到了，他们仔细一辨认，咦，坐在车上那个人，不是鲁国的阳虎吗？原来孔丘长得和阳虎有几分神似，而阳虎曾经迫害过匡人。这个误会差点要了孔丘的命。匡人马上一拥而上，将孔丘师徒团团围住，不由分说，先囚禁在一所房子里。颜回走得慢，落在后面，五天之后才赶到匡地。孔丘见到颜回，又惊又喜，骂道：“我以为你死了呢！”颜回笑嘻嘻地说：“您还活着，我怎么敢死？”师徒俩握手而笑。
然而形势并未因颜回的到来而好转。无论孔丘怎么解释，匡人就是不相信他不是阳虎，但也没有任何证据可以确认他就是阳虎。学生们都感到很害怕，生怕匡人不理智，做出什么出格的事来。孔丘却很淡定，安慰学生说：“自从周文王死后，周礼不就掌握在我手里吗？如果上天打算毁灭周礼，我这个后人便不应该掌握它。既然上天不想毁灭周礼，匡人又能把我怎么样！”
颜回听了，长长地松了一口气，脸色顿时变得轻松。其他人却似懂非懂。这就好比一个人带着珠宝被强盗绑架了，却自我安慰说：“别怕，如果上天要我死，就不会让这些珠宝落在我手里了！”孔夫子的逻辑，委实不是一般人能够理解的。
后来匡人果然把孔丘他们放了，不是因为孔丘知道周礼，而是因为他派几个学生回到帝丘去找了大夫宁俞。宁俞派人出面澄清，才得以真相大白。顺便说一下，宁俞是个有名的聪明角色，《论语》里，孔丘曾这样评价他：“邦有道则智，邦无道则愚。其智可及也，其愚不可及也。”国家政治清明的时候，宁俞就聪明；国家混乱腐败的时候，宁俞就装疯卖傻。孔丘认为自己能够做到像宁俞那样聪明，却不能够做到像宁俞那样装疯卖傻。后人将“愚不可及”作为一句成语，形容愚蠢到了极限，其实它的本意是：更高层次的聪明，是难以企及的。
经此劫难后，孔丘师徒又返回了帝丘，住在蘧（qú）伯玉家里。卫灵公的夫人南子听说孔丘身长九尺玉树临风，又学识渊博无所不知，不免动了凡心，便跟卫灵公提出要见孔丘。
前面说过，南子是个极其风骚的女人，而卫灵公是个不怕戴绿帽子的男人，甚至曾经派人到宋国接南子的情人前来相会。现在南子要见孔丘，卫灵公怎么会不答应呢？他马上派人对孔丘说：“四方来的君子，如果看得起寡人，将寡人视为兄弟的，寡人都会让他见见夫人。”
孔丘心里犯了一个嘀咕，见卫灵公便也罢了，见他老婆，这都啥事啊？推脱道：“孔丘不敢。”
使者说：“什么敢不敢，实话告诉您，就是南子夫人亲自提出要见您，别不识抬举。”
孔丘跟着使者来到后宫，进门之后，面朝北行稽首之礼。南子从帷帐中行拜礼两次，身上的佩玉叮当作响——这就是关于这次会见的全部记载，至于是否发生了其他事情，任由读者发挥想象。
回来之后，学生们都围着孔丘问这问那。孔丘面色潮红，只是说：“我原本不想见她，既然见了便以礼相答。”仲由很不高兴，认为老师不老实，没有如实交代全部情况，孔丘急了，对天起誓说：“我如果不是所说的那样，就让上天厌弃我！”
这样在帝丘住了一个多月，有一天卫灵公邀请孔丘出游，孔丘去了。卫灵公和南子同乘一辆车，宦官雍渠为车右护卫，让孔丘乘第二辆车，招摇过市。南子还不时回过头来，朝着孔丘妩媚一笑。满街的百姓都指指点点，搞得孔丘面红耳赤，于是说了一句很有名的话：“吾未见好德如好色者也。”
经过这件事后，孔丘下定决心离开卫国，带着弟子来到曹国，又从曹国出发前往宋国。
宋国司马桓魋（tuí）恃宠骄横，听说孔丘来到了宋国，怕他为宋景公所用，派人跟踪孔丘。见到孔丘和学生坐在一棵树下讲学，桓魋的人便砍倒那棵树。学生们一看来者不善，心里已经猜着了七八分，对孔丘说：“咱们还是快走吧。”孔丘不以为然地说：“上天让德行降临在我身上，桓魋又能把我怎么样呢？”这一年，孔丘五十九岁，按他自己的说法，早就过了知天命的年龄，因此对于种种困苦，他总是安之若素，表现得极为淡定。
话虽如此，宋国是呆不下去了，孔丘只好又来到郑国。在新郑城外，孔丘和学生们走丢了，一个人又冷又饿，身上又没钱，只能倚着东门外的城墙发呆。学生们四处找他，有个郑国人对端木赐说：“我在东门看见有个人，他的额头像唐尧，他的脖子像皋陶，他的肩膀像我们郑国的子产，自腰以下比夏禹差三寸，长得倒是一表人才，只不过虚弱疲惫的样子，就好像一条丧家之犬。”端木赐一听，连忙让他带着去找，果然找到了孔丘。端木赐将那人的话一字不漏地告诉孔丘，孔丘欣然笑道：“他形容我的长相，未必准确，但是说我像条丧家之犬，还真是很形象啊！”
孔丘终于来到了陈国，寄居在公孙贞子（也就是后来出访吴国时死去的那位）家里。在陈国，孔丘再一次展现了他渊博的知识。
有一天，一只隼落在陈闵公的庭院中死去，身上插着一支奇怪的箭，箭杆是楛（kǔ）木做的，箭镞是石制的，箭长一尺八寸。谁都不认识这新石器时代的武器，陈闵公早闻孔丘大名，于是将他请去辨认。
孔丘看了之后说：“隼飞来的地方很远啊，这是肃慎部落的箭。从前周武王攻灭商朝，打通四方道路，让蛮夷部落各自进贡那里的地方特产。肃慎部落进贡了这种箭。先王为了昭彰美德，把肃慎进贡的箭分赐给长女大姬，又将大姬许配给胡公，让胡公建立了陈国。将珍宝玉器赏赐给同姓诸侯，是要加深亲族的关系；将远方献纳的贡品分赐给异姓诸侯，是让他们不忘记义务，所以把肃慎的箭分赐给陈国。”陈闵公试着派人到旧仓库中寻找，果真找到了这种箭。
孔丘在陈国一住就是三年。三年间，陈国一直处于动荡之中，吴国和楚国交替入侵陈国，日子过得很不太平。终于有一天，孔丘对弟子说：“回去吧，回去吧，我家乡那些小子志大才疏，不过好在没有放弃追求。”
一行人于是收拾行李北上，但又没有直接回鲁国，而是返回了卫国。经过蒲地的时候，不巧当地正发生叛乱，叛军封锁了道路，不让孔丘通过。孔丘的学生中有个叫公良孺的，长得人高马大，素有勇力，见到这种情况便挺身而出，说：“当年我追随老师在匡地遇难，现在又在蒲地遇险，看来这也是我的命运啊！如果再被人囚禁起来的话，我还不如去死。”带着自己的几名随从主动出击，所向无敌。叛军害怕了，派人交涉说：“只要孔丘不去卫国，我们就让你们通过。”
孔丘听到了，马上回答：“好。”
叛军不放心，要求双方举行盟誓才放他们走。孔丘也一口应承。离开蒲地后，孔丘便命学生：“选准道路，直奔帝丘。”
学生们大吃一惊，都说：“老师您总是教导我们做人要守信用，刚刚和人家宣誓不去卫国，怎么就不遵守了呢？”
端木赐更是直接质问：“盟约难道可以撕毁吗？”
孔丘用手戳了戳端木赐的胸口，说：“笨蛋，我是受到威胁才跟他们签订盟约，我自己都不相信，神怎么会相信？”
“老师您实在是太坏了！”
卫灵公听说孔丘又来了，高兴得不得了，亲自跑到郊外迎接，至于南子有没有跟着去，就不得而知了。
卫灵公问孔丘：“您刚从蒲地过来，对那儿的情况想必有所了解，您看我们现在出兵讨伐叛军行吗？”
孔丘说：“行。”
卫灵公说：“可是我的大夫们都说不行。他们的意思是，留着蒲邑，日后可以对付晋国和楚国，如果我们现在就讨伐它，恐怕不好吧？”
孔丘说：“那里的男人不跟叛乱分子合作，宁死不屈，那里的女人都想往西边的黄河上逃跑，真正需要我们去讨伐的不过四五个人罢了，为什么不去进攻？”
卫灵公说：“您说得对。”虽然他这么说，可是始终不见动静，这事最终不了了之。孔丘也看出来了，卫灵公已经老了，无心于政治，更不想有所作为。他不胜落寞地说：“只要有人肯用我，给我一年时间就会见到效果，给我三年时间必大有收获，可惜……”
这时候，晋国正值中行氏、范氏之乱。赵鞅率军东下，进攻中牟。中牟地方长官佛（bì）肸率领部下背叛晋国，派人请孔丘去中牟共举大事，孔丘不禁有点动心。仲由说：“以前您教导我们，凡是亲手干过坏事的人，君子是不会与之同流合污的。现在佛肸在中牟反叛晋国，您却还想去，是怎么回事？”
孔丘说：“我是那么说过。但我也说过，真正坚硬的东西是怎么也磨不坏的，真正洁白的东西是怎么也染不黑的。只要我去到那里，那里就是会是王道乐土。子路，我可不是一个葫芦啊，怎么能够只挂在墙上中看不中吃呢？”
回想起来，这已经是孔丘第二次动这样的念头了。前一次公山不狃请他出山，由于学生的劝阻而没有去成；这一次佛肸向他招手，还是被学生劝住了。从这两件事不难看出，孔丘始终还是抱有理想主义的态度，认为只要给他机会，他就能改变世界。
自此之后，孔丘在卫国过得郁郁寡欢。有一天他在屋里敲磬（一种石制乐器），有个打猪草的农夫从门口经过，听到磬声就感慨地说：“这是心里有苦闷啊，而且还很固执，没有人理解就算了，何必那么放不下呢？”
为了打发无聊的时间，孔丘找到卫国的宫廷乐师师襄学习弹琴。师襄教了他一个曲子，他一连练了十天还不肯罢手。师襄说：“你已经弹得很不错了，可以练新的曲子了。”孔丘说：“我现在只是学会了这首曲子的弹奏方法，还谈不上熟练。”又过了些日子，师襄说：“现在已经很熟练了，可以练点新的了。”孔丘头也不抬，说：“不行，我还没有体会到乐曲表现的思想意境。”又过了几天，师襄说：“你已经进入乐曲所表现的意境，可以了，真的可以了。”孔丘说：“不行，我的眼前还没有出现乐曲中所表现的人物形象，还要继续努力。”又过了些天，孔丘弹着琴，突然停下来，默然有所思，接着又抬起头似乎在登高望远，说：“我已经看到乐曲所歌颂的那个人了，他黝黑的脸膛，高高的个子，眼睛炯炯有神，一副君临天下的样子。这个人如果不是周文王，还能有谁呢？”师襄一听，立刻站起来向孔丘行礼，说：“你弹的就是传说中的《文王操》啊！”
孔丘长叹一声。他本来想寄情于音乐，忘掉怀才不遇的烦恼，没想到钻研进去，反倒是更让他滋生了难以舍弃的情愫。他再也按捺不住，准备西行到晋国，去找赵鞅谋一份差事。刚刚走到黄河边，听到赵鞅杀死晋国大夫窦鸣犊和舜华的消息。孔丘立刻停步不前，对着奔流不息的河水说：“多么壮美的黄河啊，浩浩荡荡，无边无际！我这一辈子恐怕不能渡过去了，这也是命中注定的吧！”学生听了，走过来问道：“您这话是什么意思，难道走到了这里，您都不打算过河吗？”
孔丘说：“窦鸣犊和舜华，都是晋国的贤大夫。赵鞅未得志的时候，这两个人给了他很多指导和帮助；等到他一旦得势，就将他们杀掉。我听说，哪里有人涸泽而渔，蛟龙就不去降水；哪里有人为了鸟蛋而毁掉鸟巢，凤凰就不去那里飞翔。这是为什么？因为君子不愿意看到自己的同类受到伤害。鸟兽对于不仁不义的事，尚且知道躲避，何况是我孔丘呢？”于是退回去，写了一曲《陬操》来哀悼窦鸣犊、舜华二人。不久之后，又来到卫国，继续住在蘧伯玉家里。
有一天，卫灵公又将孔丘召了去，询问行兵布阵的事。孔丘说：“祭祀方面的事情，我曾经学过，军旅方面的事情，我一无所知。”卫灵公不置可否，也不再说什么，抬着眼睛看着天上飞过的鸿雁。孔丘看着他花白的胡子迎风颤抖，不觉悲从中来，没有再说什么，悄然退下。
这年夏天，卫灵公去世了。孔丘也离开卫国，又来到了陈国。大约是从这个时候开始，他迷上了《周易》，为周易写了《系辞》《彖》《象》《文言》等诸多著作，成为后世研究《周易》的重要文献。据说，他因为不停地翻读《周易》，以至于“韦编三绝”，也就是串竹简的皮条都断了三次。
同年五月，曲阜的官署发生火灾。火苗越过公宫，烧毁了鲁桓公、鲁僖公的庙。孔丘在陈国听到火灾的消息，通过《周易》推演，准确地判断出了受灾的房屋，“其桓、僖乎？”
同年秋天，季孙斯病倒。他让人抬着自己出来巡视曲阜的城墙，感慨地说：“这个国家曾经一度几乎兴旺起来，就是因为我得罪了孔丘，使得他离开，所以就没能振兴。”他回头看着自己的儿子季孙肥：“我死之后，你将执掌国政，一定要将孔丘叫回来帮你。”
没过几天，季孙斯便死了。季孙肥安葬了季孙斯后，就准备派人去陈国宣召孔丘。大夫公之鱼劝道：“当初您父亲就是因为对待孔丘没能善始善终，遭到诸侯耻笑。今天您要用他，如果再不能善始善终，只怕又要惹得诸侯们耻笑了。”季孙肥说：“那怎么办？”公之鱼说：“可以考虑让他的学生冉求回来。”
于是季孙肥就派人去叫冉求。
冉求准备动身前，孔丘对他说：“鲁国派人召你，不是小用，而是大用，你可要努力！”也就在同一天，孔丘感慨地说：“回去吧，回去吧，我家乡那些小子虽然志大才疏，文章却是斐然成章，我都不知道该怎么引导他们了。”冉求听了，心头一热。端木赐心里明白，孔丘也想落叶归根了，给冉求送行的时候，再三交代：“回国一旦获得任用，别忘了想办法将先生也接回去。”
冉求回国的第二年，孔丘从陈国又来到蔡国。这时蔡昭侯正准备去吴国访问。因为此前蔡昭侯未经与大臣商议便和夫差同谋将蔡都迁到州来，大臣们担心这次他又有什么阴谋，所以在大夫公孙翩的带领下，将蔡昭侯杀死了。在这种情况下，蔡国也不宜久居，孔丘只好继续流浪，来到了楚国的叶邑（今河南省平顶山境内）。