林语堂的祖母是一位基督教徒，父亲林至诚24岁进入神学院学习，后来成为一名基督教的牧师，林语堂的兄弟们从小都不梳辫子，而留短发。林至诚夫妇经常邀请农人、樵夫到家里喝茶乘凉或吃午饭。这种平等观给林语堂留下了深刻的印象，日后，林语堂也会和小瘪三交朋友，请其到家中做客。
林家中挂着两幅画，因为父亲热心西学和维新，所以其中一幅是彩色的石印光绪皇帝画像；母亲则喜欢一幅外国女孩的画像，满脸笑意，双手拿着一顶破旧的草帽，里面盛着几颗刚捡来的鸡蛋。
暑假，林语堂的父亲在家给孩子们上课，早餐过后，他便摇铃上课，教他们读四书五经、《声律启蒙》、《幼学琼林》之类，一屋子都是咿唔的读书声。父亲还鼓励他们看林琴南翻译的书，如《福尔摩斯》、《天方夜谭》、《茶花女》等。
一次，大嫂在院子里洗衣服，小林语堂准备捉弄一下她，便趁她起身去拿衣服时偷偷撤去凳子，大嫂毫无提防，结果坐了个空。当时大嫂已经怀孕，全家人吓坏了，马上把她送到医院抢救，才母女平安。日后林语堂对大嫂和侄女格外关心，将《宇宙风》的版权赠给大嫂，侄女家中遭劫，他知道后，从美国寄钱给她。
上小学时，一次考试前，林语堂偷偷进入老师的房间，偷看了考卷。老师批改试卷时发现，每个学生都得了高分，他知道肯定有人做了手脚，挨个审问，唯独没有怀疑林语堂。他怎么也想不到，一向聪明好学、成绩优秀的林语堂正是泄题的人。
8岁时，老师给林语堂一篇作文的评语为“如巨蟒行小径”，批评他表达笨拙，林给老师的评语回敬了一个下联：“似小蚓过沙漠。”
儿时，林语堂一次被大人关在屋外，他索性撒起野来，捡起一块石头从窗户扔了进去，叫道：“你们不让和乐进去来，石头替和乐进来！”又一次，他和二姐发生争执后，躺在泥地上，然后爬起来对负责为全家洗衣服的二姐说：“现在你得给我洗衣裳了吧。”
1908年前后，一些敌对基督教的村民在一位落榜儒生的组织下，募捐在林家所在教堂的街上修建了一座佛寺。一个礼拜天，教堂的钟声敲过之后，寺庙里传来了隆隆的鼓声，林家的孩子就用敲钟来回应，一时钟鼓齐鸣，热闹异常。
林语堂从小受基督教的熏陶长大，他回忆说：“我们兄弟姊妹是不许吵架的，实际上我们也没吵过架。理由是：每个人都要‘友好和善’。”林到圣约翰大学读书前，见到人就微笑，到圣约翰后，他坚决改掉了这个习惯，还劝弟弟也改掉。
林父对西学很感兴趣，其好友范礼文牧师常给他寄来许多这方面的书籍，林语堂回忆说：“西学就是这样来到我家。”林父晚上总是挑着油灯，口吸旱烟，向孩子们讲述牛津大学怎样好，柏林大学是世界上最好的大学，这位每月只有24元大洋收入的牧师希望他的孩子们能到那里去读书，林说父亲是在做“狂梦”。
还在上小学的时候，父亲就鼓励林语堂说英语，会几个单词就说几个单词。林语堂的小学、中学、大学，都是在教会学校度过的。他受到两位女老师的影响，很喜欢英文，他曾对父亲说，长大后最想当英语教员，其次是物理教员。
因为从小受到教会教育，林语堂无缘接触中国文化，林从小就不知道中国民间传说，连看梁山伯祝英台的戏曲，都是一种罪过。林语堂说自己20岁之前就知道古犹太国约书亚将军吹倒耶利哥城的故事，可到了三十多岁才知道中国古代孟姜女哭倒长城的故事，他说这是教会中学欠他的一笔债。
林语堂听到孟姜女哭长城的故事后，他十分愤怒：“我被骗去了民族遗产。这是清教徒教育对一个中国孩子所做的好事。我决心反抗而深入我们民族意识的巨流。”
在林语堂看来，他的中学教育是浪费光阴。他对地理兴趣浓厚，自学了一本十万字的地理书，而在学校每星期只读一页半，全年不过读三万字。他甚至对学校教育产生了逆反心理：“凡是教员所要我读的书我俱不喜欢。”他读了大量的课外书籍，最大的愿望是学校有一座好的图书馆，等他到哈佛就读时，终于得偿所愿。
从圣约翰大学毕业后，林语堂到清华大学任英文教员，他这时才深切感觉到国学知识的贫乏。于是他从阅读《红楼梦》开始补课，经常出没于琉璃厂的旧书店，接触到了大批经典著作。
徐回忆，林语堂在对待不速之客方面，如同歌德般不近人情。家中举办宴会，他会很高兴地接待朋友，与朋友闲谈，平常则不喜与朋友随便来往聊天。在美国时，都是胡适去林家中拜访，他从不探访胡适，二人也从来不会无事相约在外面吃个便饭聊聊天。
30年代，林语堂赴美前，退了租住的房子，出售屋中的家具。陶亢德从林家买走了沙发，林的兄弟们也各买了几件旧家具。当时大家都觉得，几件旧家具林还要收自己兄弟的钱，实在太没人情味了。