细小的身子、顶着一颗大脑袋、走路摇摇晃晃的小志摩是徐家的长孙独子。虽然那张小脸不拉自长，但徐志摩自小天资聪颖，深得全家人宠爱，尤其是祖母。他的祖母勤劳、温和，而且精明能干。祖母虽然不识字，但很能讲故事。夏天清凉的晚上，小志摩常和比他大2岁的表兄沈叔薇一起，围在祖母身旁，听她讲民间故事，如飞砖造塔、铁牛镇海等。徐志摩称颂她是“爱我疼我宠我的好祖母”，说自己是祖母“最钟爱的孙子”。多少次，他因调皮而闯祸，面临父亲的训斥时，就赶忙跑到奶奶身边，躲在奶奶的怀抱里。一大早起床，他走到祖母的床前请安，揭开帐子甜甜地叫一声奶奶。奶奶慈祥地笑了，她也回叫了一声，用她那温暖的大手抚摸志摩白嫩的小脸。奶奶的大床上，总藏有吃不完的好东西。每当志摩请安时，奶奶伸手往床里一摸，就给他拿出一个蜜枣或是三片状元糕。志摩接过好吃的东西，甜甜地又叫了一声奶奶，就出去玩了。那是如何可爱的辰光，如何可爱的天真啊。
祖母对徐志摩的娇宠，使他终身难忘。1923年秋，他的祖母故去，26岁的徐志摩深情地写下了万字长文《我的祖母之死》，回忆自己小时候深受祖母宠爱的情景，表达了失去祖母的巨大悲痛和对祖母的不尽哀思。他说:“她爱我宠我的深情，更不是文字所能描写；她那深厚的慈荫，真是无所不包，无所不蔽。但她的身心即使劳碌了一生，她的报酬却在灵魂无上的平安；她的安慰就在她的儿女孙曾，只要我们能够步她的前例，各尽天定的责任，她在冥冥之中也就永远地微笑了。”
日后的徐志摩性情温柔诚挚，成为“人人的朋友”，这与祖母和母亲对他的疼爱娇宠不无关系，她们温情宽和的性格对他的影响很大。
徐志摩的母亲钱慕英是徐申如的继室。徐申如的前妻没给他留一男半女就匆匆离开了人世。钱氏略通文墨，秉性平和，对儿子也是呵护备至，疼爱有加。从小的时候，她就亲自奶孩子，而不是把他交给奶妈，这非常不符合大户人家的规矩。她还常在人前把衣服的大襟掀开，拖出奶来喂孩子，只要她那宝贝儿子一声啼哭。每天晚上，她都舍不得让奶妈把孩子抱走，而是自己搂着宝贝儿睡觉。一直到徐志摩结婚前，他都是和母亲同睡一床的。父亲徐申如也将小志摩视为掌上明珠，对他寄予诸多厚望，给予许多父爱，这可是他惟一的根。不过，身为人父，他也得严肃。因而，对父亲，徐志摩一直十分敬重；对贤淑平和的母亲，他则始终充满深情。
在父母的卵翼和溺爱之下，徐志摩对父母充满依恋，并养成了顽皮小孩子的性格。成年的他因此而更加的纯真，但又欠一份成熟。
母亲由于怕小宝贝着凉而很少给他洗澡，像当时当地的许多人家那样。尤其到寒冷的冬天，小志摩整个冬天都不洗澡。到了夏天，母亲才把小脚桶找来，倒上滚烫的水，然后把他抱进去，这样既可洗掉一冬天厚厚的脏垢，又可防止孩子着凉。这样一来，志摩就受不了了，水烫得他嗷嗷直叫。一听说要洗澡，他就吓得满院子乱跑。因此，志摩孩提时代最怕剃头和洗澡。温柔的母亲总说那句“今天我总得捉牢他来剃头”，而又眼看着他笑嘻嘻地跑开。而一到洗澡，母亲总发誓：“今天我总得捉牢他来洗澡。”他跑得再快也跑不过母亲，虽然他的母亲裹着小脚。还没跑几步，他就被母亲捉住放在了水桶里。他挣扎一番失败后，就开始又哭又叫。
由于这种“惨痛”的经历，志摩都不敢和其他的孩子一块儿到河里洗澡。偶尔下河洗一次澡，一旦被父母发现，立即被拉回家里，并被吓唬一通。幼小的他就只能在河岸看着别人在水中玩耍。不下水的他也就没有学会游泳。
徐志摩在《谈再管孩子》中提到，父母不对他讲一个人需要洗澡的理由，也不想法把洗的方法弄得适意些。这影响深极了，以致他到老大年纪每回洗澡虽不至厌恶，总不见得热心；总把它看作一种必要的麻烦，而不是愉快的练习。游泳也没有学会，猜想也是从小对洗澡没有感情的缘故。
志摩小时候最怕的另一件事是剃头。父亲把老式的生铁剃刀磨呀磨，然后拿到他的头上咔嚓咔嚓地剪，疼得他龇牙咧嘴嗷嗷直叫，只想双手抱着头站起来跑掉。母亲则在一边狠命地捉住他的两手，使劲按住他，让他动弹不得。父亲就用大手死死按住他的头，使他的头摇晃不得，并且还威胁他：“再动弹可就把耳朵割下来啦。”对于洗澡和剃头，徐志摩潜意识里有种莫名的恐惧和讨厌。
徐申如喜爱广交朋友，附庸风雅。徐家总少不了那些名流的身影，每当这种场合，小志摩就被父亲拉出来，以表徐家的规矩与绅士。在众人面前，志摩总是一副彬彬有礼、循规蹈矩的样子。徐申如很是得意他调教出来的乖乖儿形象。
亲人的疼爱与娇宠，使志摩养成了随和和放任的性格，祖母和母亲的贤淑慈爱，启发了他人际交往中的善良与真挚，父亲开明的家庭教育又培育了他乖觉与温顺的绅士气度。
此外，徐家的佣人家麟，在徐志摩的心中也是一位可亲可敬的人。志摩曾说，孩童时所听来的有趣的知识，都是家麟教给他的。他启发了小志摩的灵性之光。
家麟勤劳而有德行，掌管着徐家的菜园和后花园。他常带志摩去园子里干活。在志摩的眼中，他样样活儿干得出色，他有时也模仿家麟动手干活。家麟又是一位养花的行家，徐家后花园因他而花团锦簇，万紫千红。志摩特别喜欢到花园里去玩。家麟会耐心地教他辨别种种花名、花性，还绘声绘色地给他讲各种花的故事。小志摩因此都成了花痴。
家麟更是讲故事的能手。那些民间故事到他的口中，总是栩栩如生，让人千般想象万般遐思。志摩尤其喜欢听他讲《说岳全传》。他讲得志摩又是笑，又是哭，又是着急跺脚。但他不会讲得志摩瞌睡，这是学堂里所有的先生比他强的地方。志摩把听来的故事讲给周围的伙伴听，他唾沫横飞、添油加醋的讲述，让小伙伴们目瞪口呆。而在月白风清的晚上，他会故意讲那些牛鬼蛇神的故事，吓得小伙伴们毛骨悚然，不敢回家。
家麟另有一种能耐是唱赞神歌。谁家许愿请神，就请他去赞美神道。他那圆润的粗嗓子，唱出了一种有节奏有顿挫的诗句。小志摩虽听不清他唱什么，但他觉得家麟的声调美极了，如余音绕梁，如暖天细雨，以至于常在他的美妙歌声中靠在妈妈身上甜甜睡去。到第二天醒来时，耳边还回荡着家麟那圆圆的甜甜的嗓音。家麟死后，徐志摩以他为原型，写了一篇朴实动人的小说《家德》，以表纪念。
徐志摩第一次直面死的问题，是在他不满6岁时。他祖父的死是他初次遭逢的亲属的大故。祖父特别疼爱他，但终不如祖母对他的悉心关爱。那是他生平第一次可怕的经历，但他在《我的祖母之死》中追想当时的心理时认为自己对死的见解可能不比英国诗人华滋华斯的那位小姑娘高明。华兹华斯在一首题为《我们是七人》的小诗中，描写自己有一次遇到了一个8岁的小女孩，问她有几个兄弟姐妹。她说有七个，两个在城里，两个在外国，还有一个姐姐和一个哥哥，在教堂的公墓里躺着。每晚，她都要带着点心到墓地去，吃着，唱着，唱给长眠在地下的哥哥姐姐听。纯真的孩子之心，还分不清生死的界限。
徐志摩记得那天夜里，家人吩咐祖父病重，他们今夜不睡了，怕见不上最后一面。但叫他和姐妹们先上楼睡去，回头要他们时家人会来叫的。他们就上楼去睡了，底下就是祖父的卧房。志摩那时不太明白，只知道夜里一定有很怕的事发生，就像火烧、强盗抢、做恶梦一样的可怕。他睡不着，朦胧中，只听得楼下的急步声、碗碟声、唤婢仆声、隐隐的哭泣声不息的响着。过了半夜，家人上来把志摩从睡梦里抱了下去，他醒过来只听得一片的哭声。他们已经把长条香点起来，一屋子的烟，一屋子的人，围拢在床前，哭的哭，喊的喊。他也挨了过去，在人丛里偷看大床里的祖父。忽然听说醒了醒了，哭喊声也停了。他看见父亲爬在床里，把祖父抱在怀里，祖父靠在他的身上，双眼紧闭着，口里衔着一块黑色的药物。终于，祖父开口说话了，声音很轻。他没听明白祖父说的是什么，只是知道祖父经过了一阵昏晕，他又醒了过来对家人说：“你们吃吓了，这算是小死。”祖父接着又说了好几句话，随着说话声音的降低，呼气也渐微，去了，再不醒了。但志摩却不曾亲见最后的弥留，也许是他记不起了，总之他那时早已跪在地板上，手里擎着香，跟着大众高声地哭起来了。