东晋的衣冠士族“嗤笑徇务之志，崇盛忘机之谈”，在士人们看来“望白署空，显以台衡之望；寻文谨案，目以兰薰之器”。他们身处政权的中枢却又全不以国事为意，“居官无官官之事，处事无事事之心”的人才显得超脱清远，而尽职徇务的人反而被嘲笑为“尘下俗气”。《世说新语·简傲》中的两则记载形象地表现了当时华宗贵族居官处事的态度：
王子猷作桓车骑骑兵参军。桓问曰：“卿何署？”答曰：“不知何署，时见牵马来，似是马曹。”桓又问：“官有几马？”答曰：“不问马。何由知其数？”又问：“马比死多少？”答曰：“未知生，焉知死。”
王子猷作桓车骑参军。桓谓王曰：“卿在府久，比当相料理。”初不答，直高视，以手版拄颊云：“西山朝来，致有爽气。”
世家子弟为什么如此“高迈不羁”和“简傲”放达呢？这是因为“居官”对士族来说是“平流进取”的结果，他们既无须努力也无须才华就可以“坐致公卿”，尤其是乌衣巷中王、谢这样显赫的世族，卿相之位好像天生就该属于他们。他们根本用不着为“居官”而奋斗焦虑，更用不着为保住乌纱帽而勤勉操劳，所以他们人在官场却宅心事外，身居要职却又恬淡闲散，人们常说东晋士大夫看起来“举体无常人事”，甚至连谢安这样的人也“悠然远想，有高世之志”。然而正是这些“有高世之志”的士族左右着东晋的政局，王导被人视为 “江左管夷吾”，《晋书·王敦传》载：“帝初镇江东，威名未著，敦与从弟导等同心翼戴，以隆中兴，时人为之语曰：‘王与马，共天下。’”王导的出处安危和健康状况也成了人们注目的中心，“顾司空未知名，诣王丞相。丞相小极，对之疲睡。顾思所以叩会之。因谓同坐曰：‘昔每闻元公道公协赞中宗，保全江表，体小不安，令人喘息’”。陈郡谢氏同样也身系国家的存亡，史家认为“建元之后，时政多虞，巨猾陆梁，权臣横恣。其有兼将相于中外，系存亡于社稷，负扆资之以端拱，凿井赖之以晏安者，其惟谢氏乎！”他们俨然是拯国家于倾圮救黎民于水火的柱石，有一点“悠然远想”反而更能显出所谓“雅人深致”，甚至更能显出他们在政坛上的分量。谢安本人就深谙此道，他举手投足总是那样镇定、从容而又矜持，让人觉得他的器量“足以镇安朝野”。《世说新语·排调》载：“谢公在东山，朝命屡降而不动……诸人每相与言：‘安石不肯出，将如苍生何！’”他们越“举体无常人事”，朝野就越怕他们“不豫人事”。
入宋后原先为士族所鄙视的“老兵”“劲卒”成了南面之君，那些平日倨傲不恭的衣冠子弟不得不俯首称臣，这对王、谢这样的士族来说情何以堪！张溥在《谢康乐集题辞》中说：“夫谢氏在晋，世居公爵，凌忽一代，无其等匹。何知下伾徒步，乃作天子，客儿比肩等夷，低头执版，形迹外就，中情实乖。……盖酷祸造于虚声，怨毒生于异代，以衣冠世族，公侯才子，欲倔强新朝，送龄丘壑，势诚难之。”对刘裕“低头执版”而深感屈辱的当然不止谢客一人。但以王、谢为代表的衣冠子弟在鼎祚既移之后，只得向这位“下伾徒步”低头“认命”：“高祖因宴集，谓群公曰：‘我布衣，始望不至此。’傅亮之徒并撰辞欲盛称功德。弘率尔对曰：‘此所谓天命，求之不可得，推之不可去。’”《宋书》卷五十二载史臣的评论说，“高祖虽累叶江南，楚言未变，雅道风流，无闻焉尔”，但“前代名家，莫不望尘请职，负羁先路”。
尽管这些“望尘请职”的华宗望族满腹屈辱，但刘裕对他们的臣服并不领情，表面让他们位望清显而实际并无实权，在他身边“奋其鳞翼”的是那些“起处竖夫出于皂隶”的武夫。由于目睹“晋自社庙南迁，禄去王室，朝权国命，递归台辅。君道虽存，主威久谢”，也由于自己“田舍公”出身的门第，刘裕及其子孙“常虑权移臣下”，对世家望族一直心存戒备，谢安之孙谢澹佯醉对宋武帝刘裕说：“陛下用群臣，但须委屈顺者乃见贵，汲黯之徒无用也。”王、谢等膏腴望族逐渐衰落，并日益被政坛边缘化，赵翼在《廿二史札记》卷十二说宋代“立功立事，为国宣力者，亦皆出之寒人。如……檀道济、朱龄石、沈田子、毛脩之、朱脩之、刘康祖、到彦之、沈庆之等之于宋……而所谓高门大族者，不过雍容令仆，裙屐相高，求如王导、谢安，柱石国家者，不一二数也”。谢晦在谏刘裕不要亲自披甲上阵时说：“天下可无晦，不可无公，晦死何有！”的确，王氏中再也没有“江左管夷吾”，谢氏中再也没有“镇安朝野”的巨擘，世家望族成了政坛上可有可无的点缀和花环。谢氏中谢安孙谢混、从孙谢晦、从曾孙谢世基先后被杀，谢晦与谢世基被戮前写下了《临终连句》：
临死为连句诗曰：“伟哉横海鳞，壮矣垂天翼。一旦失风水，翻为蝼蚁食。”晦续之曰：“功遂侔昔人，保退无智力。既涉太行险，斯路信难陟。”
真是“三十年河东，四十年河西”，谁能料到“伟哉横海鳞”的谢家子孙会“翻为蝼蚁食”呢？这首连句诗也许可以视为士庶沉浮的象征。