林语堂的初恋是一个叫“橄榄”的女孩。“橄榄”是山里的女子，其母是林语堂母亲的教女。
在八十自述中，林语堂回忆：“我记得她蹲在小溪里等着蝴蝶落在她的头发上，然后轻轻地走开，居然不会把蝴蝶惊走。”
儿时他们常在山间一起玩，林语堂曾用《圣经》上的一句话形容过橄榄赤足的样子：“她的脚在群山间，是多么美丽！”
由于林语堂想出国留学，而橄榄要照顾双目失明的祖父，不能离开家乡，所以他们分手了。但他从未忘记橄榄，而橄榄赤足奔跑在草地上的情景成了林永不能割舍的“情结”，他曾专门写《论赤足之美》，他说：“要是问我赤足好，革履好，我无疑地说，在热地，赤足好。……赤足是天所赋予的，革履是人工的，人工何可与造物媲美？赤足之快活灵便，童年时快乐自由，大家忘记了吧！步伐轻快，跳动自如，怎样好的轻软皮鞋都办不到，比不上。至于无声无臭，更不必说。”
在圣约翰大学上学时，林语堂和厦门的陈希佐、陈希庆兄弟交好。也由此认识了他心仪的第二位女子，陈氏兄弟的妹妹陈锦端。陈锦端的父亲陈天恩早年追随孙中山，是厦门数一数二的巨富。林语堂对陈锦端一见钟情，而陈锦端也心仪林语堂，二人很快坠入爱河。放暑假时，二人回到了各自的家中。林语堂思念心上人，几次跑到厦门，借口探望陈氏兄弟。林语堂在《八十自述》中说：“我从圣约翰回厦门，总在我好友的家逗留，因为我热爱我好友的妹妹。”
林语堂经常造访陈家，陈天恩早看出来林的来意是为其长女。陈天恩是虔诚的基督教徒，他认为林虽然聪明，但对基督教不够虔诚，家庭出身也不好，爱女不能托付给他。陈天恩对陈锦端表明态度，迫使她同意再也不见林语堂。于是每次林来访，陈锦端都躲在房间里，不肯出来。
一次，陈天恩对林语堂说，隔壁廖家的二小姐（廖翠凤）贤惠漂亮，他愿意做媒，保准成。林马上明白了陈天恩的意思。他觉得受到了极大的侮辱，垂头丧气地回到坂仔。大姐林瑞珠知道后大骂林语堂：“你怎么这么笨，偏偏爱上陈天恩的女儿？你打算怎么养她？陈天恩是厦门的巨富，你难道想吃天鹅肉？”大姐的话把林语堂拉回到现实。就这样，林语堂的第二次恋爱还没有步入高潮就戛然而止了。
陈锦端一直占据林语堂心里的某个角落，历久而弥新。据林太乙回忆：“父亲对陈锦端的爱情始终没有熄灭。我们在上海住的时候，有时锦端姨来我们家玩。她要来，好像是一件大事。我虽然只有四五岁，也有这个印象。父母亲因为感情很好，而母亲充满自信，所以不厌其详地、得意地告诉我们，父亲是爱过锦端姨的，但是嫁给他的，不是当时看不起他的陈天恩的女儿，而是说了那句历史性的话：‘没有钱不要紧’的廖翠凤。母亲说着就哈哈大笑。父亲则不自在地微笑，脸色有点涨红。我在上海长大时，这一幕演过很多次。我不免想到，在父亲心灵最深之处，没有人能碰到的地方，锦端永远占一个位置。”
林语堂笔下的少女，总是长长的头发，用一个宽大的发夹别着。林太乙问他，为什么总是这副打扮？林语堂回答，这是他第一次见锦端时她的打扮。
林语堂说：“吾所谓钟情者，是灵魂深处一种爱慕不可得已之情。由爱而慕，慕而达则为美好姻缘，慕而不达，则衷心藏焉，若远若近，若存若亡，而仍不失其为真情。此所谓爱情。”
晚年，林语堂腿脚不便，常年坐在轮椅上。有一回，陈希庆的太太来看他。林语堂问起了陈锦端，陈夫人告诉他，锦端还住在厦门。林语堂激动地站起来，推着轮椅要出门：“你告诉她，我要去看她！”廖翠凤急了：“堂，你在说什么瞎话！你不能走路，怎么去厦门！”数月后，林语堂就溘然长逝了。
廖翠凤是陈天恩邻居廖悦发的次女，廖家也是大富之家，廖悦发脾气很坏，重男轻女，动辄向妻女大吼大叫，对女儿的教育十分严厉，对儿子却百依百顺。廖翠凤是烈性子，看不惯父兄欺负母亲，偶尔也顶上几句。哥哥们都学会了爸爸的坏习惯，对这个妹妹从不看在眼里，打骂相加，只有二哥暗地里还帮帮她。廖翠凤一心想离开家，结婚就成了惟一的出路。
陈天恩提出将廖翠凤介绍给林语堂后，林不能拂却陈天恩的面子，于是到廖家相亲。廖翠凤躲在屏风后面观察他，很是中意。林语堂与廖翠凤的二哥交好，廖翠凤早就知道林，心中也认可他。而林的大姐林瑞珠曾经和廖翠凤是同学，她对廖翠凤的印象很好。林语堂的父母听了大姐的介绍，劝林“娶妻求贤”。林语堂没了陈锦端，觉得天都快塌了，对父母的决定没有异议，于是林至诚就向廖家提亲。
订婚前，母亲担心女儿，劝廖翠凤说，林语堂很聪明，但家里穷，廖翠凤斩钉截铁地对母亲说：“没有钱不要紧！”于是林语堂和廖翠凤就这样订婚了。
林语堂直到四年后才与廖翠凤完婚，当时林准备到哈佛留学，廖翠凤的父亲坚持要林与女儿完婚后，二人同去，林无法再拖延婚期，只好同意结婚。
结婚这日，林语堂到廖家迎亲，按照当地风俗，女方家端上一碗龙眼茶，林只要象征性地喝一口就可以，但他却一饮而尽，连龙眼也吃了，惹得廖家人大笑。
婚礼上，当着众宾客的面，林语堂拿出婚书，对廖翠凤说：“我把它烧了！婚书只有在离婚的时候才有用，我们一定用不到。”举座哗然。这纸婚书果然没有用到。林语堂和廖翠凤相亲相爱，白头偕老，造就了一段半个多世纪的金玉良缘。
结婚后，林语堂和廖翠凤带着廖的一千大洋陪嫁远渡重洋。廖在船上就得了盲肠炎，到美国后不久发作，只能到医院动手术。手术过程竟然长达三个小时，动手术的医生大概没有见过中国女人，将廖的内脏仔细搜索了一番才割除了盲肠。出院后不久，廖由于受了感染，必须动第二次手术，又只能入院。林无奈，只能向廖家求助，廖的二哥汇给他们一千美元，才度过难关。
在林语堂留学的四年中，清华不再向林语堂提供费用后，除了靠胡适的两千美元救急外，廖翠凤只能变卖首饰换钱。为了省钱，林语堂决定到德国读书，在法国时，廖翠凤甚至到古战场上去捡旧靴子穿。
廖翠凤毕业于上海的圣玛利女校，会说英文，颇为摩登，林语堂在北大任教时，廖曾在北大预科任英文教员，二人是当时有名的夫妻教授。廖在基督教女青年会的会员中极为活跃，是合唱团成员，还曾想学踢踏舞。林却不喜欢这些会打网球、会跟洋人讲笑话、见面时拍人背的青年会员。
林氏夫妇到雅典卫城参观，林为庄严肃穆的古城墙、深蓝幽静的爱琴海高唱颂歌，廖却捶捶酸疼的小腿，不屑一顾地说：“我才不要住在这里！买一块肥皂还要下山，多不方便！”林哑然失笑。
林语堂讨厌束缚，如领带、裤腰带、鞋带。廖翠凤每次出门却非得打扮齐整，胸针、手表、耳环，连衣服边脚的皱褶也得熨贴，一丝不苟。她也如此要求林语堂。林语堂的一个美国朋友曾问林道：“林博士，你们婚姻上没有什么问题吧？”林回答没有，朋友很是诧异。
林语堂时时出怪主意，作弄老实的廖翠凤。林语堂把烟斗藏起来，叫着：“凤，我的烟斗不见了！”廖翠凤急忙放下手中的活，满屋子地找，林语堂则燃起烟斗，欣赏妻子忙乱的神情。
有女儿后，林语堂就随着女儿管廖翠凤叫“妈”。他从书房出来，总是像小孩子般地问：“妈在哪里？”有时腻烦廖翠凤的管教，林也会说：“我认为我早就小学毕业了。”廖翠凤不说话，笑眯眯地看着林语堂，林就乖乖地做廖翠凤交代的事。
廖翠凤是家中的总司令，她管理家政，指挥所有人的行动。不爱做家务的林语堂也必须负责饭后的洗碗碟工作。不过，林每次洗碗都是大阵势，打碎碗碟的声浪不绝于耳。廖翠凤算算账，发现让林洗碗实在不合算，就不再让他洗了。林语堂于是高兴地去捏廖翠凤的鼻子，廖也笑起来，可看见林兴高采烈地样子，又不禁狐疑，他是不是故意打碎的。
廖翠凤喜欢谈论家事，回忆过去，林语堂就坐在椅子上，点燃烟斗，不出任何声音，静静地听妻子的唠叨。他笑称：“怎样做个好丈夫？就是太太在喜欢的时候，你跟着她喜欢，可是太太生气的时候，你不要跟着她生气。”
当时的文化名人大多抛弃了发妻，另找时髦的知识女性。林语堂成名以后，廖翠凤担心他也会喜新厌旧。林安慰她：“凤啊，你放心，我才不要什么才女为妻，我要的是贤妻良母，你就是。”他很讨厌矫揉造作、故作娇弱的女性。一次看见当时的红明星林黛，林说：“东方美丽的标准是板面、无胸、无臀、无趾的动物——一个无曲线的神偶，我要拿她来做木工的神尺。”
林语堂对女人爱穿着打扮，表现得很大度，他知道太太讲究穿鞋，每次经过鞋店，总是鼓励太太进去选购，自己则带着孩子打发时间。
林语堂对朋友说：“我像个氢气球，要不是凤拉住，我不知道要飘到哪里去！”廖翠凤也点头说：“要不是我拉住他，他不知道要飘到哪里去！”
1969年，林语堂和廖翠凤结婚半个世纪，亲朋好友为他们举办了盛大的金婚纪念晚会。林送给廖一个手镯，说是为了表彰她这么多年来坚定不移守护着家，以及多次的自我牺牲。廖翠凤想起结婚伊始，林语堂撕婚书时的坚决，百感交集。手镯上刻着林翻译的雪莱的《老情人》（An Old Sweet heart）：“同心如牵挂，一缕情依依，岁月如梭逝，银丝鬓已稀，幽冥倘异路，仙府应凄凄，若欲开口笑，除非相见时。”
林语堂过世后，廖翠凤一直住在香港小女儿家中，用心整理出《京华烟云》和《林语堂当代汉英辞典》等巨著的手稿，存放在台湾的故宫博物院，直到1985年阳明山故居原址改为“林语堂先生纪念图书馆”，这些著作和遗物才捐给台北市政府供公开展示。1987年，廖翠凤于香港去世。