史载：苏舜卿（庆历五年）四月，来吴中，始居回车院，盛夏蒸燠，不能出气，乃以四万钱购郡学旁弃地，吴越时钱氏近戚中吴节度使孙承佑之旧馆也。茸为园。
这园，就是沧浪亭。
孙氏旧馆历经百年风雨，早已沦为弃地。苏舜卿花四万块钱买下，再购置花、木、砖、石，造一座私家园林。从此隐居于此，读书注《易》，吟诗会友，过了几年相对安定的生活。
蒙难之前，苏舜卿到过苏州，曾感叹“无穷好景无缘住，旅櫂区区暮亦行”。他现在终于可以在这里颐养天年了。购地的当年，就建好园邸并搬进去住下来，只不过半年时间。从这一点看，最早的沧浪亭，绝没有今日这么宏大的规模。建亭之时，苏舜卿正在落魄之中，不可能有人为其助建。四代为官，苏舜卿的家底应该还是殷实的，但毕竟不是巨富。所以不可能大兴土木。从他自撰的《沧浪亭记》来看，他仅仅只是修筑了一个亭子。至于竹、水、丘、林，则是孙氏旧馆的弃物，略加修葺即可。
初到苏州时，苏舜卿的情绪并不稳定，他甚至想离开吴中北归，有他的《秋怀》诗为证：
年华冉冉催人老，风物萧萧又变秋。
家在凤皇城阙下，江山何事苦相留。
这是他当年秋天登苏州城的阊门而作，题在城门的墙壁上。在诗旁，他又书了一行小字：“江山留人也？人留江山也？”江山留人而赵宋的社稷不留。同在这一年，同样遭到贬斥的滕子京，在洞庭湖边的巴陵重修了岳阳楼。被贬汾州的范仲淹为其题写了《重修岳阳楼记》。庆历八年（1048年）的京城政变，为中国历史留下两处名胜与一篇千古传颂的美文。这倒真是应了那一句老话：江山不幸诗人幸。然而诗人还是不幸的，在三十七岁的盛年，苏舜卿不得不过起“狎鸥翁”的闲士生活。对于一个以天下为己任的诗人来说，这该是多么大的折磨！他的岳父杜衍，虽然也在谪任之所，但毕竟是一个风雨不惊的官场老手。这位卸任宰相，从远在北方的兖州寄诗来安慰沉沦在颓废中不能自拔的女婿。苏舜卿回答岳父：“易毁唯迁客，难谙是俗情。愁多怯秋夜，病久厌人生。”他仍在絮叨自己的愁和病。从这一点看，他只能当一名易感的诗人，他缺乏政治家的那种从容和忍耐。
好在苏州是一个最适合文人居住的地方，好在沧浪亭及时建造起来，苏舜卿受伤的心得到暂时的慰藉。在苏集中，诗题冠以沧浪亭者，大约有六首，第一首是《沧浪怀贯之》：
沧浪独步亦无踪，聊上危台四望中。
秋色入林红黯澹，日光穿竹翠玲珑。
酒徒漂落风前燕，诗社凋零霜后桐。
君又暂来还径往，醉吟谁复伴衰翁。
由于苏舜卿的才华和特殊的地位，在京城时，他成了交际的中心，每日呼朋引类，名士往来，有酒有歌，有诗有舞。比起开封来，苏州虽然也是吴侬软语的富贵之乡，但毕竟淡泊得多。而且，更重要的，他不再处在社交的中心位置，他已经丧失了官场酬酢的优越感。所以，当老友贯之前来看望他，令他激动不已。贯之走后，他便有了这首伤感的诗。三十八岁的苏舜卿，已经从心理上称自己是一个“衰翁”了。
除了从书信上，他还保持与欧阳修、范仲淹、滕子京、梅尧臣等一帮旧友的联系外，在苏州，他的新交，则多半是吴中的文士或出家人，他们在一起吟诗唱和，研究书艺，品味琴韵，或探讨佛道玄旨。除诗文外，苏舜卿还擅书法、善弹琴，作为文人的看家本领，他似乎一样不缺。虽然官场中人都害怕同他往来，但一般的文人士子，都还仰慕他的名声，而乐得与他交往。他与这一帮地方上的名士在一起诗酒流连。渐渐地也就忘了开封的旧事。
这时，他在开封时的好友，如今尚在官场的韩维，来信指责他“世居京师，而去离都下，隔绝亲友”。他回了一信为自己辩护。这封信在他的文集和宋史《苏舜卿传》中皆有载，只是两者有些出入，但大致相似：即困居吴中，是不得已而为之。至于目前的生活，他在信中说：“……耳目清旷，不设机关以待人，心安闲而体舒放；三商而眠，高舂而起，静院明窗之下，罗列图史琴尊，以自愉悦；逾月不迹公门，有兴则泛小舟出盘阊，吟啸览古于江山之间；渚茶野酿，足以消忧；莼鲈稻蟹，足以适口；又多高僧隐君子，佛庙胜绝；家有园林，珍花奇石，曲池高台，鱼鸟留连，不觉日暮。”
这是一个十足的闲人。由于“迹与豺狼远”而“不设机关”，苏舜卿渐渐习惯了这种与官场无涉的文人生活，从文中还约略可以推测，住进沧浪亭后，苏舜卿一直没有停止扩建工作。“珍花奇石，曲池高台”，这些，都是后来添置构筑的。
在沧浪亭住了三年多，到庆历八年（1048年）春，由于韩维的上书，苏舜卿复官为湖州长史。但他并没有到任，这年的十二月，他病逝于沧浪亭中，年仅四十一岁。