做了九个月巡抚的海瑞买舟南下，飘然回到老家海南。以挂冠时的潇洒决绝，人们以为他从此可能要从道学家变成林下人物，归隐于老庄门下了。
然而，海瑞却没有进入海南的椰林。儒家教育早已经把他定型，注定他跳不出这个藩篱。
他在老家买了一所小小院落，在院里开荒，堂前种树，图书满室，堂上却挂上“忠孝”二字大匾，遇人则讲道学，讲如何破荣辱关，破生死关。遇到地方官来访，则喋喋不休，讲民间疾苦，问解决办法。从海瑞家出来，人们不得不说，此老风骨，一毫未变。
对于海瑞来说，读书修身就是为了入世济民。闲居在家，看上去潇洒自在，其实海瑞的心是十分痛苦的。仕途是士人实现人生价值的唯一途径，如果不能为世所用，那么他的生命还有什么意义呢？虽然归隐田里，其实海瑞还是日日期待着有复出的那一天。况且，朝廷批准他辞职的圣旨中有云：
“奉钦依照旧候用。”如果一遇挫折，就愤然辞世独立，独善其身，那不是圣人之徒的做
隆庆六年（公元1572年），明穆宗突然中风去世，十岁的神宗即位。朝中政局风云突变，高拱在政治斗争中被张居正掀翻，明朝最有能力的大臣之一张居正继任为首辅。
闲居两年的海瑞，以为自己的另一个政治春天要来到了。因为这个张居正是翰林出身，饱学之士，学问相当精醇，是海瑞的同道，有着推行圣人之学的共同志向。况且，海瑞辞职后，时任阁臣的张居正还写来一封信，对海瑞表示同情：
三尺法不行于吴，久矣。公骤而矫以绳墨，宜其不堪也。讹言沸腾，听者惶惑。仆谬忝钧轴，得参与庙堂之末议，而不能为朝廷奖奉法之臣，摧浮淫之议，有深愧焉。
信写得很真诚也很聪明。身为内阁成员，他却不能为海瑞说上什么话，真是惭愧呀！为什么身为内阁成员却没有发言权呢？那自然是因为高拱的跋扈。所以，矛盾在于高拱，与他张居正无干。那么，这次张居正上台了，应该起用他海瑞了吧。海瑞日日等待着北京的消息。
迟迟没有动静。
向来趋左的言官们坐不住了，他们上书，要求起用海瑞。张居正在书上批道：
海瑞秉忠亮之心，抱骨鲠之节，天下信之。然夷考其政，多未通方。只宜坐镇雅俗，不当重烦民事。
海瑞的品质无可怀疑，然而办事不能通达。这样的人只能享受名誉上的尊重，不能任为实职。虽然同为圣人之徒，张居正为人行事却与海瑞大有不同。张居正既能侃侃而谈圣人之言，又能精通中国社会表面秩序下的真正规则，并且运用精熟。他没有徐阶的天真，认为海瑞能够为他的班子建立政绩，也没有高拱的阴险，想用海瑞达到什么不可告人的目的。所以，他不能用海瑞。
直到这时，海瑞才知道自己在官僚政治中的地位和作用。原来，他虽然忠诚骨鲠，时时刻刻遵守圣人之道，可是却只能“坐镇雅俗”，做个政治摆设。原因就在于他不肯“通方”，不肯做“乡愿”，不肯向这个世界妥协。
有生以来，海瑞第一次产生了怀疑：错的，到底是世界还是自己？