苏轼自常润归来，太守陈襄已届瓜代之期，诏与知应天府的杨绘对调。
陈襄设宴有美堂，告别僚佐，苏轼受嘱赋《虞美人》：
湖山信是东南美，一望弥千里。使君能得几回来？便使樽前醉倒更徘徊。
沙河塘里灯初上，水调谁家唱？夜阑风静欲归时，惟有一江明月碧琉璃。
此后送旧迎新，自有许多宴会，粉白黛绿，檀板金樽，需要新词供伎乐歌唱，所以苏轼写了许多词，如送述古迓元素的《诉衷情》，孤山竹阁送述古的《江城子》，西湖送述古的《菩萨蛮》等，西湖这一阕是：
秋风湖上萧萧雨，使君欲去还留住。今日漫留君，明朝愁杀人。
佳人千点泪，洒向长河水。不用敛双蛾，路人啼更多。
陈襄启程离杭，苏轼一直追送到临平舟上，别绪离情，心里无限的空虚落寞，作《南乡子》别词，道归家路上所感：“……归路晚风清。一枕初寒梦不成。今夜残灯斜照处，荧荧。秋雨晴时泪不晴。”
这年秋天，京东、河北两路，又发生蝗灾。蔽天的飞蝗，蔓延及于淮浙，苏轼又被派赴临安、於潜、新城一带，督导各县捕蝗。他眼见蝗害的严重，说：
轼近在钱塘见飞蝗自西北来，声乱浙江之涛，上翳日月，下掩草木，遇其所落，弥望萧然。
群飞的蝗虫发出来的声音，竟能盖过如千军万马奔腾而至的潮声，天上一片乌黑，遮得日月无光，一下来，千顷绿稻，立刻卷光，声势之大，令人不寒而栗。
苏轼连日尽在田野间察看飞蝗的来势，检查受灾的情况；晚上又须与有关人员研讨捕蝗的方法，劳累不堪。一处事定，又须再去一地，这种单调的胥吏工作，更使他心里充满委屈的感觉。当他在临平和於潜两县间的山上，行至浮云岭上时，体力更是疲惫难支，慨然有被人当作厮役差遣之耻，气起来就想毁车杀马，扯碎衣冠，逃归乡里去读书。但是，这个秘密的心事，除了弟辙，没处可说，乃作《捕蝗至浮云岭，山行疲苶，有怀子由弟二首》之一云：
霜风渐欲作重阳，熠熠溪边野菊黄。
久废山行疲荦确，尚能村醉舞淋浪。
独眠林下梦魂好，回首人间忧患长。
杀马毁车从此逝，子来何处问行藏。
苏轼后来回忆在杭州所受的委屈，寄同事周邠诗说：“西湖三载与君同，马入尘埃鹤入笼。”心里的挣扎之苦，情见于辞。
幸而任期即将届满，苏轼因弟在济南，所以上章朝廷，请求派个山东的差使，图个近便。熙宁七年九月，告下：“苏轼以太常博士直史馆权知密州军州事。”苏轼如愿以偿，到任谢表中，有“携孥上国，请郡东方。自惟何幸，动获所求”的感激之辞。
苏轼在杭三年，他的幼子过（叔党）是熙宁五年（1072）在杭州出生的，这时候，他已有三个儿子了。后来与他同度患难的爱妾朝云，则于今年进入苏家之门，她还只是个十二岁的垂髫少女。
从应天府任上调来杭州的杨绘，字元素，四川绵竹人。神宗朝为御史中丞，极得皇上眷顾，将有大用，与滕元发二人联合攻击宰相曾公亮，事机不密，公亮上章先辩，神宗自此不悦，后又极论新法，被曾布责难，遂遭外放。他是一个聪明活泼，极好醇酒妇人，才子型的人物。七月到任，九月朝廷告下，苏轼又将从杭州赴密，相处的时间很短，但是即在这个短短的时间内，游宴不绝。至苏轼新职发表，杨太守更一再饯别于中和堂和湖上。《东坡乐府》中有一连串和杨元素的歌词，皆是筵边的迭唱，如“和杨元素时移守密州”的《南乡子》：
东武望余杭，云海天涯两渺茫。何日功成名遂了，还乡。醉笑陪公三万场。
不用诉离觞，痛饮从来别有肠。今夜送归灯火冷，河塘。堕泪羊公却姓杨。
又如重阳节日作《浣溪纱》词说：“可恨相逢能几日，不知重会是何年。”两人的交好，与一片索寞的离情，处处可见。
苏轼将行，于九月二十日往别西湖南北二山中的道友，其实亦是与西湖告别的最后一游。苏轼自己说，他有一种神秘的感觉，自来西湖，每到之处，常常觉得这个地方，从前都曾来过，印象犹很清晰，他归之为前生旧游的记忆。《和张子野见寄三绝句》中，特有一首《过旧游》诗说：
前生我已到杭州，到处长如到旧游。
更欲洞霄为隐吏，一庵闲地且相留。
又在密州时有《答钱塘主簿陈师仲书》云：
一岁率常四五梦至西湖上，此殆世俗所谓前缘者。在杭州尝游寿星寺，入门便悟曾到，能言其院后堂殿山石处。……
何薳《春渚纪闻》有一则曰：西湖寿星寺老僧则廉说，苏轼做杭州通判时，始与参寥同登方丈，就对他说：“某平生未尝到此，而眼前所见，都如素所经历的一样，自此上至忏堂，当有九十二级。”派人去数，果如其言，轼便语参寥道：“某前生，此山僧也。今日寺僧，皆吾法属。”
后来苏轼每至该寺，就解衣般礴，久而始去。其时，则廉还是一个沙弥，常常在旁伺候，炎夏天热，苏轼来时，就脱光上衣，在竹荫下袒露乘凉，看见背上，有七粒黑痣，如星斗状，世人都不得见。
《咸淳临安志》：寿星院在葛岭下，智果寺侧，后晋天福八年（943）所建，有寒碧轩、此君轩等建筑，苏轼皆有诗。与陈襄书中称之为“寿圣”，也许是旧名，不足深考。不过苏轼第一次在杭州时，还未与於潜诗僧参寥相识，其同行相语者，必是另一和尚，传闻小误而已。
杨绘有事于湖州，与苏轼同舟离杭。张先、陈舜俞约苏轼同访湖州太守李常，亦与偕行。
常字公择，建昌人，少时读书于庐山白石僧舍，手自抄书，几至两目尽盲，既登进士第，将他手抄书九千卷，庋藏老家，苏轼为作《李氏山房记》。熙宁初，任秘阁校理，出知地方，不脱学人从政的本色。
他们一大堆毫无政治意味的朋友，相聚湖州，欢宴几无虚日。李常好酒，又适逢生子做三朝，大会宾客，分赠洗儿钱和玉果，苏轼开他玩笑道：“……犀钱玉果，利市平分沾四座；多谢无功，此事如何到得侬。”（《减字木兰花》）又与周开祖（邠）书云：
……寻自杭至吴兴见公择（李常），而元素（杨绘）、子野（张先）、孝叔（刘述）、令举（陈舜俞）皆在湖，燕集甚盛，深以开祖不在坐为恨。
这六个朋友连日欢聚，以歌词名满天下的张先，时已八五高龄，兴致甚好，赋《定风波》令，有“见说贤人聚吴分，试问。也应傍有老人星”句，谓之曰“六客词”。
苏轼离湖州时，刘述、张先与他同至松江，夜半月出，置酒垂虹亭上，赏月欢饮，兴致淋漓。想起湖州之会，张先率先自唱“六客词”，觉得这是人生中难得的欢娱，大家都很兴奋。
苏轼在京口将与杨绘相别，席上作《醉落魄》词以赠，这阕词，不是抒写一般的离情别绪，而别有一番“同是天涯沦落人”的感伤。一则是苏轼与元素同为蜀人，都是从那块万山环抱中、温暖而富饶的盆地里跑出来的人，现在一样流落在东海之滨，归乡无期；二则自己固然是初出茅庐，主知未深，所以一中小人的谗言，立即得罪外放，固其所宜，不料以元素之久膺帝眷，位在要津，亦因反对新法而被弃，蓬梗飘零，错在出处。不太轻易伤感的苏轼，此词却充满了哀戚，充满了怜悯，难怪日后两人同以罪贬，相遇于黄州时，杨绘要说从前有“天涯同是伤沦落”一句，恰是今日的“诗谶”，相与唏嘘感叹不置。原词：
分携如昨，人生到处萍飘泊。偶然相聚还离索，多病多愁，须信从来错。
尊前一笑休辞却，天涯同是伤沦落。故山犹负平生约，西望峨眉，长羡归飞鹤。
十月，苏轼这一年中，第三次又到苏州，再为苏守王诲（规父）席上的嘉宾，坐中有与之相熟的歌伎，颜色凄然地一再问他：“这回去了，还再来不来？”苏轼深为感动，作《阮郎归》：
一年三度过苏台，清尊长是开。佳人相问苦相猜，这回来不来？
情未尽，老先催，人生真可咍。他年桃李阿谁栽？刘郎双鬓衰。
离苏时，又有苏州闾门留别的一阕《醉落魄》，疑亦为此姝所作，为了安慰伊人，似乎也留有后约。一个在事业世界里失意的人，极容易掉进儿女情长的温柔乡去，逃避现实中的寂寞，苏轼甚少风流韵事，此词宜再引录：
苍颜华发，故山归计何时决！旧交新贵音书绝，惟有佳人，犹作殷勤别。
离亭欲去歌声咽，潇潇细雨凉吹颊。泪珠不用罗巾浥，弹在罗衫，图得见时说。
过京口，与同年胡宗愈（完夫）、王存（正仲）、孙洙（巨源）剧饮，与李常书说：“此行天幸！既得李端叔与老兄，又途中与完夫、正仲、巨源相会，所至辄作数剧饮笑乐。人生如此有几，未知他日能复继此否？”
孙洙欲往海州，遂与同行。
苏轼本来计划乘此调差的机会，可以从海州绕道前往济南探望老弟，看看新生的侄子虎儿。兄弟俩自从熙宁四年九月同谒欧阳修后，颍州一别，至今又已三年不见了。无奈在湖州耽搁的时间太多，现在必须赶往密州到任，而且时入严冬，从海州到济南去必走的青河，已经冰冻停航，苏轼只得徒呼奈何。
自海州冲风冒寒，径趋密州，世传有“野店鸡号”的一阕《沁园春》，为苏轼《赴密州早行，马上寄子由》之作，元遗山认为“此篇极害义理，不知谁所作，世人误为东坡。……如‘当时共客长安，似二陆初来俱少年。有胸中万卷，笔头千字，致君尧舜，此事何难。用舍由时，行藏在我，袖手何妨闲处看’等句，其鄙俚浅近，叫呼炫鬻，殆市驵之雄，醉饱而后发之，虽鲁直家婢仆且羞道！而谓东坡作者，误矣”。
苏轼从来没有觉得“致君尧舜”是那么容易的事情，他也不会是一个“袖手旁观”说风凉大话的人，遗山确有真识，故录其说。