庾太尉在武昌，秋夜气佳景清，使吏殷浩、王胡之之徒登南楼理咏。音调始遒，闻函道中有屐声甚厉，定是庾公。俄而率左右十许人步来，诸贤欲起避之，公徐云：“诸君少住，老子于此处兴复不浅。”因便据胡床与诸人咏谑，竟坐甚得任乐。后王逸少下，与丞相言及此事，丞相曰：“元规尔时风范不得不小颓。”右军答曰：“唯丘壑独存。”
——《世说新语·容止》
《世说新语》对庾亮这位外戚重臣赞誉有加，几十则写庾亮的小品中只一二则对他稍带微讽，而正史《晋书》则对他褒贬参半，史臣对他甚至作了十分负面的评价：“元规矫迹，宠阶椒掖。识暗釐道，乱由乘隙。”不过，不管是毁者还是誉者，无一不企慕他的风度和才华。连恃才傲物的周顗也佩服他的济世之才：“明帝问周伯仁：‘卿自谓何如庾元规？’对曰：‘萧条方外，亮不如臣；从容廊庙，臣不如亮。’”（《世说新语·品藻》）连想杀他的陶侃也为庾亮的风度所倾倒：“石头事故，朝廷倾覆，温忠武与庾文康投陶公求救，陶公云：‘肃祖顾命不见及。且苏峻作乱，衅由诸庾，诛其兄弟，不足以谢天下。’”等庾亮拜见他以后，“庾风姿神貌，陶一见便改观，谈宴竟日，爱重顿至”（《世说新语·容止》）。史称他“美姿容，善谈论”，不仅才堪济世，而且“风情都雅”。人们都说“庾文康为丰年玉，稚恭为荒年谷”（《世说新语·赏誉》）。庾亮死后谥“文康”，他弟弟庾翼字稚恭，兄弟二人在同辈眼中，一为盛世美才，一为乱世宏才。
可庾亮“善谈论”却不苟言笑，“美姿容”但极不随和，据说他“风格峻整，动由礼节”，就是在闺房里对太太也一本正经，陪父亲住在会稽的时候还“巍然自守”，永远是一副方正严峻的样子，谁还愿意接近他自讨没趣？《世说新语》说他“风仪伟长，不轻举止，时人皆以为假”。用现在的话来说，就是当时大家觉得庾亮喜欢“装”，后来发现他大几岁的儿子也是父亲那种派头，人们这才知道他那“高高在上”的模样是出于天性。
当然，庾亮偶尔也有纵情作乐的时候。晋成帝时期他出镇武昌，在一个景色绝佳月光如水的秋夜，他幕府中几位僚属殷浩、王胡之等名士，一起登上武昌城楼吟诗赏月，当玩兴正浓音调渐高之际，楼梯上忽然传来急促的木屐声，一听脚步声大家就知道是庾亮。转眼工夫，他率十几个侍从上楼来了。看到平时总一脸严肃的上司驾到，众人连忙起身想溜之大吉。他不紧不慢地说：“诸位干吗要走呢？老夫对此兴致不浅。”说罢便靠着坐榻和大家讽咏戏谑。这天夜晚庾亮一改平时的矜持，下属自然也就无拘无束，最后个个都尽情欢乐。
谈玄论辩的高手中，庾亮清谈足以盖过林公，可见他也不是一直板着面孔，有时也有清谈的才情风雅。在楼上一同赏月的幕僚殷浩、王胡之等都是当世名流，殷浩年轻时便与一代枭雄桓温齐名，王胡之也是出身豪门的雅士。主贤、宾雅、月白、风清，古人所说的“四美俱二难并”，主人难得如此雅兴，佳宾难得如此闲情，秋夜难得如此佳景，“人生得意须尽欢”，再不纵情欢歌真是辜负了此情、此景、此夜、此人。
小品生动地描写了庾亮性格的另一侧面。时逢“秋夜气佳景清”，雅士们才有登楼雅聚的兴致。正当殷、王二人“音调始遒”之时，忽“闻函道中有屐声甚厉”，大家一听就知道是庾亮来了，“定是庾公”四字暗示庾亮平时走路同样是“屐声甚厉”，从其步履就能想见为人的“严峻”。他一上楼“诸贤欲起避之”，说明他平日“巍然自守”的派头，可能让下属觉得可敬可畏。但等到他说“老子于此处兴复不浅”“因便据胡床与诸人咏谑”，这才露出自己的真性情，此时此刻才让下属们感到他可爱可亲。
庾亮与幕僚在武昌南楼这次雅集，后来成了骚人墨客的美谈，人们把他当年赏月的南楼改称“庾亮楼”，现在成了湖北省重点文物保护单位。李白在《陪宋中丞武昌夜饮怀古》一诗中说：“清景南楼夜，风流在武昌。庾公爱秋月，乘兴坐胡床。”庾公赏秋月坐胡床成了人们津津乐道的风流韵事，“老子”“胡床”成了诗人们的口头禅，宋代李昴英《水调歌头·题斗南楼和刘朔斋韵》说：“风景别，胜滕阁，压黄楼。胡床老子，醉挥珠玉落南州。”
文章后面补叙一段王羲之与王导对这次秋夜聚会的议论，看似节外生枝，实则曲终奏雅。“后王逸少下，与丞相言及此事，丞相曰：‘元规尔时风范不得不小颓。’右军答曰：‘唯丘壑独存。’”王羲之南下京城与丞相谈及此事，王导说：“庾亮那时的风范不如从前。”王羲之回答说：“可他胸中丘壑一如往日。”王导料想庾亮此时风范“小颓”不外两方面原因：一是当时庾亮正处政治上的低谷，王导估计他不会像以往满面春风；二是王庾二人议政多有不合，庾亮曾打算兴兵废掉王导，王导想借机暗损政治对手。王导所谓“风范不得不小颓”，是断定必然如此；而从他据胡床啸咏来看，庾亮又未必如此。王羲之对王导的说法既不肯定也不否定——否定让丞相有失颜面，肯定又有违实情。他掉转话头称道庾亮胸有丘壑，即使政治上小有挫折，处事照样清醒精明。庾亮城府很深是时人共识，从好处说是处世有定识有主见，从坏处说是有一肚子坏主意。《世说新语·轻诋》就是从坏处说的：“人谓庾元规名士，胸中柴棘三斗许。”这两句话的意思是说，人们都认为庾亮是天下名士，可他胸中全是一些鬼点子。
不管是往好里还是往坏里说，“胸中丘壑”或“胸有丘壑”现在成了常用成语，而且后人通常是从积极方面来用它的，如唐代厉霆《大有诗堂》：“胸中元自有丘壑，盏里何妨对圣贤。”又如宋黄庭坚《题子瞻枯木》诗：“胸中元自有丘壑，故作老木蟠风霜。”
庾亮为人有“风范”，胸中有丘壑，他死后参加他葬礼的朋友感伤地说：“埋玉树著土中，使人情何能已已。”