8岁时，林语堂说长大后要当作家，他偷偷写了一本教科书，隔一页是课文，一页是插图，后来被大姐发现了，全家的兄弟姐妹都能背诵其中的一首诗：“人自高，终必败；持战甲，靠弓矢。而不知，他人强；他人力，千百倍。”
在上海圣约翰大学时，有次林语堂一个人斜倚栏杆，做出沉思状。同班同学见了，以为他想家了，过来安慰他，谁知林皱眉问道：“梁启超为什么成了今天的梁启超？”原来，他刚刚看了《饮冰室文集》，对梁启超的政体改革策略很是佩服，所以在栏杆前回味，同学直呼上当。
林语堂热爱运动，擅长打网球、踢足球、划船、赛跑。他以5分钟一英里的成绩刷新了圣约翰大学该项运动的学校记录；曾任校划船队的队长；一度对棒球兴趣浓厚，一有空闲，就拉上夏威夷来的留学生根耐斯一起练球，一练就是几个小时，不久他就成了一个高水平的垒手，投的上弯球和下坠球很少有人能接住。林语堂甚至被选为中国队的代表，参加了远东运动会，可惜没有获得奖牌。
在大二的结业典礼上，林语堂先后四次走上领奖台，其中三次是个人得奖，剩下一次是以讲演队队长身份领取获胜的银杯，轰动一时。
在美国读书时，一次夫人廖翠凤动手术，林语堂交纳住院费后，只剩下13美元。他只能去买了一大罐老人牌麦片，接下来一个星期，每日三餐餐餐麦片，幸好廖家的汇款即时汇到，方才解脱。从此林的肠胃对麦片产生了抗拒心理，再也不吃麦片了。
从哈佛毕业后，林语堂到德国读博士学位。林快毕业时，廖翠凤正怀着长女，因为没钱，同时也不希望孩子成为德国人，林语堂准备让妻子回国分娩，买了回国的船票，准备等博士考试的第二天就动身。廖担心丈夫不能获得学位，林却信心十足。考试结束，林语堂顺利获得学位，廖翠凤开心地在大街上当众就亲吻了林语堂。
马星野这样回忆在厦大任教时期的林语堂：“林先生只有三十上下。经常穿长袍黑马褂，梳得亮亮的头发，俊秀英慧之态，不但光彩照人，而且慧气逼人。”
林语堂生活上不拘小节，在宴席上，他弄不清自己的酒杯和邻人的酒杯，经常喝错。有一次，他和夫人应邀去一个美国朋友家中吃饭，结果弄错了日子，提前一个星期去了，二人知道弄错后还傻傻地一直坐在朋友家的客厅里，朋友的夫人只好马上准备饭食，胡乱给他们做了点吃的。
章克标回忆，林语堂到上海时，不再着西服，而是穿中式长袍马褂，足登青布鞋子。他说中式服装穿着最舒服，四肢百骸自由自在，穿西服像被绑捆了那样，动弹不得，尤其领带一系，扣住喉咙，气都透不过来，他将系领带称作“狗领”。
叶灵凤回忆，林语堂办《论语》，每期都要由出版社时代公司带着稿费和编辑费去，他才给稿件。当时林住在吉斯菲尔路的一栋洋房内，门口立着写有“内有恶狗”的木牌子，时代公司的职员恨他的态度过于“犹太”，曾提议替他在木牌上续两句：“认钱不认人，见访诸君莫怪。”
林语堂主编的教材《开明英语读本》由开明书店出版后，销量很好。世界书局请大学刚毕业的林汉达模仿林语堂的版本编了《标准英语读本》，《开明英语读本》遂销量大减。开明书店和林语堂请律师向世界书局和林汉达提出警告，世界书局让林汉达去找林语堂解决。林汉达登门拜访林语堂不遇，便留下便条，大意为表示歉意、竭诚求教等等。开明书店将林汉达留下的便条作为抄袭的证据，刊登在报纸上，轰动一时。世界书局马上聘请包打必胜官司的名律师郑毓秀提起诉讼，称开明书店诽谤。
世界书局资金雄厚，聘请的律师极有后台，开庭对开明书店非常不利，开明书店的律师在庭审结束后觉得胜诉无望，退出不干了。开明书店于是直接上书南京教育部，将《标准英语读本》涉嫌抄袭《开明英语读本》之处逐条列出，请教育部裁定是否抄袭。教育部审查后认定《标准英语读本》确有抄袭之处，禁止世界书局发行此书。开明书店马上把教育部的审查结果制成大幅广告，刊登在各大报纸上。广告刊出的第二天，法官迫于舆论压力，又惧怕世界书局和其律师，作出了一个“折衷”判决，判开明书店诽谤成立，罚30元。
世界书局声誉因此大受影响，只能主动向开明书店求和，托人将《标准英语读本》的纸型送到开明书店销毁，才结束了这场纠纷。而林语堂因此家喻户晓，教材大卖，每个月大约可以拿到700大洋的版税，被称为“版税大王”。
林汉达不服，亲自跑到南京去申诉，结果被教育部次长一阵数落：“人家是博士，你不过是个普通的大学毕业生……”气得林汉达跑到美国去深造，誓雪此辱，但是等他博士学成回国后，林语堂却已移居美国。
林太乙上小学时，学校的英文教材《开明英文读本》《开明英文文法》等都是林语堂编写的。高年级的男生一旦英文考试不及格，就于课间休息时间围着林太乙，跺着脚指着林骂道：“都是林玉如的阿爹勿好！都是林玉如的阿爹勿好！”
林语堂为三个女儿分别起名凤如、玉如、相如，林语堂觉得一般女子的名字俗不可耐，在鼓励女儿们向《西风》杂志投稿时，为凤如、玉如改名如斯、无双（他认为相如的名字不俗，所以未改），他还给妻子起名“凡”。但林太乙觉得自己喜欢叫玉如，无双（繁体）的笔画太多，不好写，林语堂于是从《吕氏春秋·大乐》“万物所出，造于太乙”为她起名太乙。林太乙说：“父亲是主观的，他也许从未想到，我也许宁可叫做玉如。”
30年代在美国，由于版税丰厚，林家生活优渥。1939年，林语堂的收入为四万两千美元，开销为一万七千五百美元，年底，他为廖翠凤买了一枚价值一千美元的3.38克拉的钻石戒指。
在美国时，林语堂唯一的运动是逛大街，还有就是在警察看不见的时候，在纽约中央公园的草地上躺一躺。
林语堂胃口好，食量大，爱吃爱喝，就是生病的时候，他也可以吃双倍的东西。他自诩有惊人的消化力：“我的肚子里，除了橡皮以外，什么都能消化的。”又说：“我会医自己的病，就是多吃东西，那样我的病就会好了。”
林语堂最爱在半夜里吃东西。一天夜里，他觉得肚子饿了，起来一口气吃了五只鸡蛋和两片脆饼。又有一次，他吃了四片饼干还觉得不够。为此，他幽默地对家人说：“昨天夜里我觉得很饿，不知道是起来的好，还是不起来的好。我又觉得很惭愧，仅仅为了吃东西，睡了还要起来。不过我若不吃些东西，让肚子空空的，那么，我便更不能入睡了。”挣扎半天，他还是起来到厨房找了些东西填肚子，结果被夫人瞧见，在一旁忍俊不禁。
林语堂最讨厌一件事，就是人家在晚上八点以后请他吃饭，如果有人在这时请他吃饭，他必定先和家人吃过饭才去。
廖翠凤和三女儿林相如著有一本《中国烹饪秘诀》，曾在法兰克福获德国烹饪学会颁发的奖状。林语堂是这本书的策划人。
林语堂在美国从事写作，有时遇到难题，常常到哥伦比亚图书馆查找资料，因不便使用自己名字，便用了女儿替他取的一个名字：“林语珠女士”。
林语堂到美国后，原由他主编的《宇宙风》改由其弟林憾庐主编，不久林憾庐病死，林语堂没赶回送葬，只是寄回两篇文章，将稿费充作葬仪。
廖翠凤告诉郁达夫，在美国时，一次林语堂捧了本《模范绅士约翰·哈里法克斯》向她求爱；第二次，他忘了，又捧了这本书向她求爱。
在武汉主编《中央日报》时，林语堂曾经就男女问题，以“毛驴”为笔名，与一位署名“小鹿”的作者发生笔战。“小鹿”褒女贬男，“毛驴”正好相反，你来我往，极为激烈。该报的副刊编辑孙伏园为了结束这场笔战，特邀“小鹿”与“毛驴”在河口东宴楼会面，冰心也被邀作陪，彼此相谈甚欢，均同意鸣金收兵。第二天，孙伏园在《中央日报》副刊刊登启事曰：“男女之争，已于鹿驴交欢声中化除矣！”“小鹿”是一位年轻女性，看到启事后大怒，发誓再不为该报撰文，而林却获得意外的胜利，喜气洋洋，颇为自得。
章克标回忆，林语堂也在交际场中逢场作戏，会吃花酒、叫条子，也懂得长三堂子的韵味。他还赏识当时的名妓富春楼老六，为她写过捧场、赞美的文字；他穿着长袍马褂和交际花、名妓到高级跳舞厅婆娑起舞或坐听音乐。但林只是偶然为之，“并非耽溺于‘荷花大乐’（腐化大乐）”。
一次，林语堂在上海认识的交际花来访，廖翠凤出去买菜时，此女居然一跃坐在林的书桌上，向他卖弄风情，林极为尴尬。等廖回家时，此女已经碰了一鼻子灰，颓然而去。
林语堂在莱比锡工业展览会期间，曾遭受女房东的“性骚扰”。这位女房东守寡多年，孤独寂寞，烟不离手，就着咸肉大喝啤酒，几乎没有清醒的时候。她硬拉着林，事无巨细地对林讲述她和情人之间的乐事，说她的情人是媲美歌德的文学天才，还给林看她作的歪诗，实则存心引诱林。一次，林从她的房门口经过，她故意倒在地上，语态暧昧地叫林进去扶她。林语堂吓坏了，赶紧叫廖翠凤代劳，寡妇只好装着刚刚苏醒，自己站了起来。
赵世洵回忆，林语堂亦“好色”。一次南洋大学联欢，临时办事处的几位漂亮女职员都参加了。林多喝了几杯，眼前又是几位美貌的小姐，顿时话就多了起来，惹得一旁的廖翠凤颇为不满，面色不大好看。
林语堂在《八十自述》中自剖为“一捆矛盾”，他说自己喜欢看到交通安全宣传车出车祸撞伤人；曾到北平西郊的西山上一个庙里，去看一个太监的儿子；把自己描写成为一个异教徒，其实在内心却是个基督徒；专心致力于文学，但总认为大学一年级不读科学是一项错误；喜欢用胶泥和滴流的洋蜡做成有颜色的景物和人像，摆在玻璃上，借以消遣自娱；喜爱在雨中散步；对于湖边垂柳浓阴幽僻之处兴感伤怀，但对海洋之美却茫然无所感。