永泰元年（765年），严武去世，杜甫在成都再无依靠。靠着攒下的一点儿钱，他终于正式开始了归乡的旅途。五年前，他进入成都，一穷二白，几乎一无所有。现在他离开，连健康也失去了。在长安时染上的肺病一直没好，糖尿病也越发严重，发起病来，焦渴难耐。风痹发作，右臂抬不起来。聋了左耳。
这一趟被贫穷与疾病纠缠的旅途并不顺利，磕磕绊绊，走走停停。大历元年（766年），杜甫一家来到夔（kuí）州（今四川奉节），他在此度过了两年多的时光。有段时间，他居住在城外建在江边凸出的岩壁上的西阁。朱红色的栏杆围绕着楼阁，他常常独自站在栏杆隔成的露台上看岩层中露出的薄云，水浪中翻涌的月亮。秋天的黄昏，他望着黑夜遮蔽晚霞，星子弥漫天际。石上藤萝，洲前芦花，水边捣衣声阵阵而来，是当地人家在准备衣料做冬衣。他总是抬头不由自主顺着北斗的方向寻找长安的位置。
在夔州的秋夜里，杜甫一口气写下八首《秋兴》，全是回忆里的长安。“同学少年多不贱，五陵衣马自轻肥”——曾经杜陵的同学少年得势升官，也不再理他了。“闻道长安似弈棋，百年世事不胜悲”——他离开长安之后，战争与叛乱，朝堂上翻云覆雨的斗争，如下棋一样瞬息万变。“彩笔昔曾干气象，白头吟望苦低垂”——他也曾献赋皇帝获得赞赏，宰相们围如墙堵，看他写文章。这座城市里留有他最意气风发的好年岁，也有他总是功败垂成的十年，但那都过去了。
现在，是他在长安写下求官不得的悲愤愁苦时根本无法想象的忧虑——白了头发，战火满地，漂泊他乡。而自然从不理会人心的悲苦，在一次次春回里复习青春与温馨，理直气壮地向他展示着“泥融飞燕子，沙暖睡鸳鸯”，“江碧鸟逾白，山青花欲燃”。燕子走了还会飞来，山花落了还会再开。但对于人，过去的年岁不会倒回。当他一次次记录他死去与流落他乡的艺术家朋友们人生的最终章时，他知道，他也正在一天天去往与他们相同的方向。杜甫依然记得自己对于未来曾经有过的那些高远的期望，现在，他知道，那些都不会再发生在自己身上。
这年秋天，吐蕃入侵，占领灵武，去往中原的道路再次封闭。
长安依然远在千里之外。