2003年10月，鲍尔默访问中国。依照惯例，张亚勤全程陪同。温家宝总理在钓鱼台国宾馆接见鲍尔默。接见的时间还没有到，张亚勤和鲍尔默在一间小会议室里一边等一边聊。
10月的北京秋高气爽，张亚勤的心情同样也很不错：研究院的业务蒸蒸日上，除了在科研方面的建树，微软公司在中国与政府的关系和自身的市场形象也逐渐得以修复。自1999年年初张亚勤回国的4年间，研究院在各个方面都取得了令微软公司上下喜出望外的成绩。
“亚勤，如果调你回雷德蒙总部主持微软公司的移动业务，你觉得怎么样？”向来直来直去的鲍尔默突然抛出了这个问题。此前，张亚勤丝毫没有料到鲍尔默此行到中国还有这项议程。来不及多想，他只能说：“让我仔细想想”。
鲍尔默发出的这个邀请当然不是兴之所至的突然之举。了解微软公司的人都知道，这位精力过人的首席执行官在床头放着一本花名册，里面囊括了微软各个部门最有能力、最有价值的经理人的材料，甚至其家人的情况也都一一记录在册。一旦哪个部门出现空缺，鲍尔默都会从这个册子里挑选精兵强将“火线空降”。这套系统被称做“Hot People，Hot Jobs”（最抢手的人才，最抢手的工作）。
因此，鲍尔默游说张亚勤之前，必定是考虑了多种因素。鲍尔默当然也知道，要张亚勤离开中国研究院是个很艰难的决定，因此，选择在这么一个气氛轻松的时刻，向他抛出了一个艰难的抉择。
鉴于微软移动业务的重要性以及张亚勤在中国所领导的微软研发的战略位置，鲍尔默调张亚勤回美国的想法必定已经和盖茨事先沟通过。而张亚勤自己其实也明白，总部一直希望他能够回到雷德蒙，毕竟微软公司绝大多数的核心产业和战略决策都是在华盛顿湖边的微软总部做出的。对于张亚勤这样的“好钢”，盖茨和鲍尔默都希望能将其用在“刀刃”上—为微软公司统领更重要、更棘手的部门。
一年之前的2002年11月，微软公司总部曾经就回总部征求过张亚勤的意见。那次是盖茨和鲍尔默希望他回雷德蒙出任微软公司全球副总裁，管理多媒体方面的业务。考虑到中国研发业务还没有彻底稳固下来，自己对研究院的一些规划才刚刚启动，张亚勤婉拒了：“当时，我太太带着孩子举家迁回北京还不到一年，这么一家子来回折腾对孩子的成长其实并不好；另外，我已经在多媒体领域做了那么多年，这个领域是我最擅长的；再次‘重操旧业’也不符合我的性格。相比多媒体，我还是更倾向于开拓性质的研究院。”
但是，这次是鲍尔默在一年之后重提旧话，张亚勤明白自己必须认真考虑了。鲍尔默所说的微软公司的“移动业务”指的是微软公司总部目前正在整合移动和嵌入式部门，包括了用于移动电话、个人数字助理工具（PDA）、电视、汽车和非PC领域的操作系统和平台。
尽管研究院就像自己一手带大的孩子，很难割舍，但是再三权衡之后，张亚勤还是接受了总部的职位，因为他深知这次让他去负责的移动和嵌入式部门对于公司的全球战略至关重要。多年的研究经验告诉他，移动技术绝对是继桌面技术之后下一个改变世界的技术，微软公司绝对不能丢掉这个潜力巨大的市场，对于他自己而言，潜力就是挑战。当然，微软亚洲研究院的几名干将已经成长起来了，个个都能独当一面，尤其是沈向洋和张宏江，他可以放心地把研究院交给他们。
在微软亚洲研究院创建和发展的日子里，共同的理想和创业的激情把张亚勤和他的团队紧紧凝聚在了一起。2003年1月，大家在公司为张亚勤庆祝生日。
接受了来自鲍尔默的邀请，张亚勤就开始进行交接前的各项准备工作了，他熟悉每一位下属的脾气秉性，不愿意令下属们措手不及，当然，他也有足够的信心平稳、有效地完成这个交接。张亚勤亲自向各个业务小组解释了自己工作的变动，让大家做好心理准备，并且敞开大门，解答大家对于研究院在他离开之后发展的种种问题。
2004年1月7日，张亚勤的38岁生日这天，他得到了一份特殊的生日礼物—微软公司向全球发布官方公关稿：
原微软亚洲研究院院长张亚勤博士将升任微软公司全球副总裁，调回微软总部雷德蒙，负责微软移动通信及嵌入式系统全球业务。同时，原微软亚洲研究院副院长沈向洋博士晋升为新一任院长，全面接管研究院基础科研及高校关系等方面的管理事务；原微软亚洲研究院副院长张宏江博士被提升为新近成立的微软亚洲工程院院长，全面负责该机构的发展和管理事务。
接下来是各方面为张亚勤举办的欢送会。如果说当初开复的离开给大家带来的是惆怅，那么亚勤此刻的离开，中国研究院的同事们的反应则更多表现为自豪—微软中国研究院成立不过五年，就走出了两位微软全球副总裁，这不仅仅是李开复和张亚勤两位杰出领导者的胜利，也是微软中国研究院这个集体的成功。
第一场送别会是全体员工晚会，在离研究院一个街区远的天鸿宾馆举行，会场周围有不少张亚勤的照片，照片大多是进行过图像处理的，画面上的张亚勤戏谑而搞笑，研究员们通过这种方式表达自己对院长的惜别之情。自然语言小组主任周明的礼物表达了大家对张亚勤的期待—一幅书法写就的中国古诗卷轴，差不多有3米长，希望亚勤“常回来看看”。
几位同事唱起了一首熟悉的老歌《送战友》，唱着唱着，眼泪就忍不住在眼眶打转，回忆起五年来的风风雨雨，台上台下两相唏嘘。这时，一位实习生跳上台拿起麦克风，动情地唱起了迈克尔·波顿的《How Am I Supposed to Live Without You》（《没有你我怎么活》），欢送会达到了了高潮。
现场的媒体这样记述了当时的情景：
三个并肩作战五年的战友—张亚勤、沈向洋、张宏江一同晋升本是好消息，但现场却更多弥漫着留恋和依依惜别的情怀。
张亚勤谈到此次晋升用了“感谢”二字，感谢微软公司对他本人的信任以及对亚洲研究院五年工作成果的肯定，他对过去五年在微软亚洲研究院的生活则是无限留恋。张亚勤对他的继任者沈向洋和张宏江则是褒奖有加，称对他们非常放心，相信微软亚洲研究院会越做越好。沈向洋打趣地答说：“张亚勤博士离开后，重担将会落在我们二人的肩上，担子很重，千万不能做败家子！”
对于张宏江等留下来的同事们来说，他们将继往开来，书写研究院和工程院更加辉煌的未来。而张亚勤，环顾周围这么多熟悉的面孔，别离战斗了五年的阵地，心中百味杂陈，已经无法用言语表达自己的感情，唯有频频握手和拥抱。
欢送会后，张亚勤和张宏江一起回到办公室，两人都感慨万千。张宏江想起来之前亚勤曾跟他说，自己可能有10%的机会被调到雷德蒙总部去管理一个新的产品小组，没想到“这个10%变成了100%”。
几天之后，在北京城北亚运村的皇冠假日酒店，又召开了一个更大型的送别会。让张亚勤倍感荣幸的是，前国务委员、国家科委主任宋健亲自到场参加张亚勤的欢送会。宋健曾担任邓小平、江泽民和胡锦涛的科学顾问。此外，宋健还曾经出任中国工程院院长，是中国科技界的主帅。
说起和宋健的渊源，还要追溯到张亚勤1978年刚上大学的时候。那时，宋健即有中国科技界“主帅”的美誉，在改革开放之后的中国科技大潮中拥有坐标式的位置，而中国科技大学又是中国科学院的直属高校。后来到了2000年，张亚勤以“微软中国研究院首席科学家”的身份被聘为北京中关村顾问委员会委员，而宋健正是该委员会的主席。爱惜人才的宋健对张亚勤极其赏识，他认为中国的创新未来属于有才华的年轻人。因此，一老一少成了忘年交，多次聚在一起讨论中国科学教育的现状等话题。宋健认为张亚勤讲到的“管理方程”是那种开放有序系统的典型特征，他本人也非常赞同这个理论。不久前他在从微软雷德蒙总部参观归来后，宋健给张亚勤写了一封亲笔信：
只有高的IQ没大用处。更重要的是要有一个能接触世界前沿的开放、良好的工作环境，一个有杰出领导的团队，人的才能才会发挥出来。否则，囿于墙里院内，大智只能变小慧。我必须说，在9月30号参观微软亚洲研究院和10月16号访问微软公司总部时所看到的完美模式给我留下了特别深刻的印象。那里的绝大多数员工都努力工作，追求进步，保持工作和生活的良好平衡，并紧跟时代的步伐。所有这些都是值得中国许多科研机构好好学习的！
我的确希望中国的年轻一代能够从这种文化氛围中认真学习些东西，不只是发挥个人的聪明才智，也会有助于我们的国家和社会的进步。同时我们应该感谢比尔·盖茨的雄韬伟略，我们也应该感谢你们两个（指张亚勤和李开复）为建立微软亚洲研究院所作的突出贡献。我坚信，在很多场合，文化交流要比技术交流更为重要。
请允许我由衷地向你们在微软公司和微软亚洲研究院所取得的杰出成就表示祝贺。创立和领导这么重要的研究机构，你们为世界和中国文明的发展作出了令人钦佩的贡献。言语已经无法表达我对你们的赞赏，你们应该为自己感到骄傲！
这次，宋健亲自来参加张亚勤的送别会，可见他对微软亚洲研究院的支持，尤其是对张亚勤个人的看重。古稀之年的宋健在会上作了长达半小时的精彩发言。他向大家讲述了自己同张亚勤相识的经历，而且还谈到了他与张亚勤之间对中国教育和科技发展问题的讨论。他重申了自己的想法：微软研究院可以成为研究与开发领域的重要范式，同时也是目前中国学生所能接受的世界上最好的计算机专业训练的场所。他的讲话让现场的每一个人都深受触动。
听着宋健的讲话，张亚勤满含感激之情，这意味着他的工作得到了中国政府的极大肯定。他也知道宋健的临别赠言隐含着一层深意，老人家希望张亚勤和同事们在分享成功喜悦的同时，不要忘了自己的祖国—不论何时，祖国都欢迎他们报效国家，“当你哪天想起今天宴会上的朋友和自己的祖国，我的朋友，不要忘了伸出你的手，为国家尽一份力。”望着台上已经70多岁的老领导，张亚勤在心里默默地说：“放心吧，我还是要回来做国内的工作的。”
在每个季度创造40亿美元利润的微软公司，在“产品为王”的软件帝国，微软亚洲研究院作为一个既不直接产出利润也没有和产品挂钩的部门，承担的职能其实远远超出了市场份额和销售增长所涵盖的内容。
当然，自1998年成立以来的近12年间，微软亚洲研究院已经获得了近千项专利，在国际重要学术会议和期刊上累计发表了3000多篇论文。其遍地开花的程度甚至令一些国际会议组织者对研究院获奖论文的数量作出硬性限制。更难能可贵的是，这些来自北京中关村的成果并非闭门造车，其中的260项技术已融入了微软雷德蒙总部统领的操作系统Windows、Office，搜索引擎Bing、Windows Live和Xbox游戏机中。
但是，这绝对远非张亚勤和他的同事们满足的目标。作为在中国出生、赴海外深造、后学成归国的这批人的代表，张亚勤们在价值观和影响力层面有着天然的优势，搭建起中美两国之间的桥梁。《环球企业家》杂志写道：
众所周知，这个国家里的绝大多数人每天打开电脑都会看到Windows的标志，但它们仍多为盗版。这始终让中国人与微软公司有着一种说不清楚的感情，因此，代表微软公司传递其实用价值之外的理念的工作，落在了研究院身上。
十年来，来到这里的实习生达3000名，有超过30万名学生与其合作过，而它每年的“21世纪的计算”学术研讨会也已成为中国最具影响力的电脑科技学术会议之一—在微软公司工作的几名图灵奖得主和菲尔兹奖得主均曾前来中国参会。时至今日，微软公司始终是在校学生最重要的择业选择之一。
而对微软公司而言，这种影响力还带来了一个隐形成果：它改变着微软公司在华的品牌。
如果人们并不健忘，应还记得上世纪90年代末微软公司在中国受到的品牌冲击：它被猛烈指摘为垄断者和不愿了解中国规则的强硬主义者。很难想象有任何一家跨国公司在中国能够背负着这些名声发展下去。而1998年研究院的诞生恰好成为了一个转折点，之后的十年里，它持续招贤纳士并在中国进行创新的作为，极大冲淡了微软公司之前咄咄逼人的只顾赚钱的形象。连盖茨也对美国媒体承认，亚洲研究院是微软品牌建设上的一个“意外之喜”。
如果说研究院在中国的成就是微软公司的“意外之喜”，那么，对于以报国为己任、开创中国科技创新时代的前辈宋健来说，张亚勤和他所从事的事业并不囿于一家美国软件公司的范畴。张亚勤和中国研发团队所创造的也不只是代码、软件，而是一种积极向上的开拓创造精神。从中国科技大学的“神童”时代到现在统领全世界最“火”的研究院，张亚勤带来的是对中国青年学者以及数百万学子思维形态的影响。在社会转型、经济腾飞之际，如果还有必要为多元化社会里的年轻人树立偶像，宋健希望是张亚勤们这样的科学家。
亚勤的话：在研究院，100次实验中有一次成功就叫成功，但在产品部门，100次试验中有一次失败，就叫失败。