2003年底，离开北京到雷德蒙就职的时候，张亚勤就叮嘱秘书：“别把我的书搬走，先找个仓库存着吧，我还要回来的。”其实，早在接受这个offer并和盖茨及鲍尔默沟通时，他就表明了自己的想法：“在总部工作3~5年之后，我还是想回中国。”
但事情的发展显然超出了所有人的预期—只在雷德蒙总部待了短短不到两年的时间，张亚勤就登上了回国的班机，起因就是当时轰动一时的李开复跳槽Google事件。
自2000年离开中国研究院回到雷德蒙总部，李开复一直负责.NET业务的研发工作。2005年7月，结束了假期的李开复回到雷德蒙后向老板提交了辞职报告。
轩然大波随之而起，这不啻为一场李开复和一个帝国的“战争”。
斯时，正是Google这家“划时代”的公司以摧枯拉朽之势横扫一切规律的巅峰时刻。期待新闻的媒体自然把李开复—曾经被视做微软中国的代言人—跳槽Google看成是新时代霸主Google对旧时代王者微软公司的挑衅：挖人挖到了雷德蒙家门口、挖到了全球副总裁级别。
微软公司一方面提起针对李开复“同业竞争”的诉讼，另一方面，鲍尔默又一次翻开了床头的花名册。和上一次一样，这场代表微软公司“迎战”Google的硬仗，只有一个人能打。
2005年9月22日，微软向全球发布新闻稿：
即日起，微软公司全球副总裁张亚勤博士将负责微软公司在中国科研及产品开发的整体布局，指导和推进微软公司在中国的研发战略。这是微软公司进一步加强其在中国的研发投入及部署的重大举措。张亚勤博士将与微软大中国区CEO陈永正一起共同领导微软中国领导小组。张亚勤将直接向微软全球高级副总裁里克·雷斯特汇报工作。
微软公司董事长及首席架构师比尔·盖茨表示：“微软公司已在中国建立了一流的科研机构，这些机构在微软全球战略中正发挥着越来越重要的角色。亚勤在基础科研、产品开发和管理方面都拥有丰富的经验，他是我们在中国实施统一的研发战略的最佳人选，将进一步推进我们的创新。”
似乎是为回应李开复跳槽Google的消息，这份公关稿中，微软公司继续着重强调，把一流的计算机科学研究和产品开发带到中国，吸引、培养并为中国储备优秀的IT人才，与中国的IT产业共同成长是微软公司对中国的长期承诺。在过去的10年里，微软公司相继在中国投资成立了以微软中国研究开发中心、微软亚洲研究院、微软亚洲工程院、微软中国技术中心等为代表的一大批重要的科研及产品开发部门。目前，中国已成为微软公司在美国本土之外业务布局最全、研发投入最大的国家之一。时任微软公司全球副总裁、微软大中国区首席执行官陈永正则表示，亚勤的归来再次证明了微软公司对中国市场和人才的高度重视。
在宣布张亚勤新任命的公司内部邮件中，张亚勤回复道：
承担带领我们在亚洲研发团队冲向新高峰的职责，令我十分激动！看到亚洲研究院和工程院取得的一系列成就，我也超级兴奋……对于在中国建立、扩充研发业务，微软所有七个业务部都有相当强烈的信心与建设性的计划。比尔·盖茨、史蒂夫·鲍尔默以及里克·雷斯特都对中国市场、中国研发力量的发展寄予厚望。
邮件的末尾，张亚勤意犹未尽，直抒胸臆：“回家的感觉真好（It is nice to be home）。”
张亚勤要“回家”了，一时间，从媒体到高校大学生，甚至社会公众集体陷入兴奋状态。
《第一财经日报》的记者把电话打到了西雅图。
他（张亚勤）笑着说：“我喝点咖啡再聊。”这时的张亚勤刚刚被微软委任了一项重要使命—来华督战。
这次任命非常“巧合”地选择了微软结构大重组的第二天，也是Google全球副总裁兼中国区总裁李开复刚刚在华宣布启动人才战略之后，因此，被业内认为是在中国市场上微软对阵Google的一个大动作。
张亚勤此次到任将以什么战略和自己的老上司对阵？张亚勤对此一直避而不谈，并谨慎回避了Google的名字。他说：“我们的研发布局不是突发性的，是连续的。我回中国的目的也非常单纯。现在IT产业发展很快，很多公司都在竞争，并都加大了巨大的研发投入。”他称，微软未来在中国的研发将着重放在三方面：一是把中国作为全球研发基地；二是面向中国用户研发产品；三是和中国软件产业加强合作。微软未来在这三方面都将加大投入，特别是面对中国市场的产品研发。
张亚勤没有否认微软之前的架构重组是为应对互联网业的激烈竞争。他称，软件产业的发展正在和互联网、移动通信等密切相关，微软的架构重组是想使互联网、移动通信等更好地融入人们的生活，也是为了适应整个产业的发展。
在此次重组中，微软（中国）并没有大的调整。但是，张亚勤笑称：“我本人两个月后才能回到中国，具体策略可能到时才能明确。”
《新京报》的报道聚焦了张亚勤回国后微软的人才战略：
尽管微软方面一再试图避免把昨天的任命和李开复事件牵扯到一起，但与会者的执著最终让张亚勤把更多的时间用到了解释和李开复相关的问题上来。按照张自己的说法，他回国工作是出于“自己要求，然后得到了比尔·盖茨的支持”。
和李开复此前一天表示将在中国“招收50名弟子”的说法比起来，张亚勤的胃口更大。“500人也好，800人也好，其实都只是一个弹性的指标而已。”张亚勤说，微软甚至愿意为所有优秀的人才提供成长的机会。
但一个最现实的问题是，在软件领域内，优秀乃至卓越的人才的稀有程度必然决定两家公司刺刀见红的争夺。而从目前的情况来看，站在微软面前最大的敌人就是Google。
张亚勤昨天没有回避这一现实，在回答记者“怎么说服一个优秀的人才选择微软而不是Google”的问题时他说：“我会尽我最大的努力向他展示微软在中国的研发布局，并向他证明，在微软总能找到一个能适合他要求同时和他兴趣一致的研发方向。在这一点上我非常自信，因为到目前为止，微软在中国的研发机构已经包括了工程院、研究院、技术中心、MSN等多个分支机构。无论是基础研发、产品研发，任何方向上的创新都会得到重视。”
尽管面对媒体时，张亚勤说“回到中国，我很开心”，化解媒体火药味十足的问题于无形，但时过境迁，他还是承认，五年前回国的决定是他一生最艰难的选择之一。
从2004年1月8日到2006年1月18日，两年的时间里，张亚勤把微软的移动与嵌入式业务带上正轨，实现了市场份额从零到25%的增长。对于移动与嵌入式开发已有一套成熟思路的张亚勤才刚刚开始他的征途，此时离开，无论对这块业务本身，还是张亚勤个人而言，都非良策。
但遍寻微软，甚至华人科学界，除了张亚勤，盖茨和鲍尔默想不出来还有谁可以临危受命。但移动与嵌入式业务又到了关键时刻，盖茨和鲍尔默无奈之下，希望张亚勤两边都兼顾着，他们自然有他们的考虑：
中国对微软公司太重要了，而中国人才又是在这个市场持久成功的关键之关键。微软的官方说法是：我们不担心李开复会回来争夺人才，也不担心他挖微软亚洲研究院的墙角。派张亚勤博士回到中国是微软发展战略的需要。微软的未来不仅需要市场全球化，人才全球化更是势在必行。微软亚洲研究院和微软亚洲工程院几年的发展成就，大大超出了当初设立时的设想，这说明中国拥有大批高素质的人才。中国基地可以称之为微软在美国之外的第二个总部，微软要在中国建立一个功能齐全的最大规模海外研发基地。张亚勤博士是能够担此重任的最佳人选。
但移动业务之于微软的重要性也不言而喻，张亚勤领导这个部门两年的业绩有目共睹，假以时日，必然会成为微软公司新的增长点。其实，张亚勤自己对于两块业务也难于取舍，他甚至考虑过把移动与嵌入式业务搬到中国来做的可能性。
“但仔细论证之后，发现这个想法在当时还是不大可行。中国团队的经验和能力还不足以承担大型平台产品的开发。当时做产品开发的微软亚洲工程院只有不到300人，即便是这300人也在做许多不同的项目；而移动通信部门在微软总部有1500人左右的团队。当然，要是现在把这个平台搬到中国做就绝对没有问题。”谈及当年，张亚勤流露出一丝遗憾。
其次，即使避而不谈，但大家也都心照不宣：张亚勤回到北京必然要面对李开复。从1998年第一次在香江花园的大堂里第一次喊出“嗨，开复”，张亚勤与李开复相识、相知七年，两个人从一片空白的希格玛大厦干起，一起加班、一起招聘、一起拱猪、一起去电视台录节目；后来先后回到雷德蒙，两家人又成了邻居。然而，目前的状况是：两个人要在共同的祖国开始一场没有硝烟的战争，张亚勤心里并不舒服，“艰难的抉择！”他说。
2005年8月，张亚勤休假，和联想总裁杨元庆几个朋友和家人一起坐游轮去阿拉斯加玩。“整个航程我都是心不在焉，不断权衡利弊，这些‘算得清利弊’的考虑之后，到最后还是要问我自己到底要什么。这个我就比较明白了，或者从来没有改变过—回中国做点事，在中国创造一个软件创新的基地，和1999年第一次回国一样，再次开创一片天地。”
打定主意，张亚勤就给鲍尔默写邮件。因为当时是在船上，网速特别慢，公司的exchange邮箱登录不进去，他就换了Hotmail，还是不行，最后用他的一个Yahoo的私人邮箱给鲍尔默发了邮件。“后来，鲍尔默告诉我，他看到我用公共邮箱发信，吓了一跳。”
最终，张亚勤最终选择了回国。尽管移动业务的辉煌指日可待，离开这个自己一手带大的“孩子”，更有些难以割舍，但好在一年多下来，移动与嵌入式业务的基础夯得比较牢。Windows Mobile 5.0已经发布，而张亚勤也已为后续版本的开发制定了战略。然而，后来的情况并没有像张亚勤想象的那么顺畅，就在他离开后一年左右，移动通信部门的业绩急转直下。如果要问张亚勤从美国回来重新执掌微软中国研发集团有什么遗憾的话，他会直言不讳地说：“如果我能在美国多待两年，带移动与嵌入式业务走得更远一些就好了。”正因为张亚勤过早地离开了移动通信的平台，才给了后来Google Android和苹果iPhone崛起的空间。而盖茨也表示了同样的遗憾。
2005年9月22日，张亚勤正式出任微软全球副总裁，主管微软公司在中国研究及产品开发的整体业务，尽管“回到北京”是张亚勤长久的梦想，但这次他反倒没有着急上飞机。一方面是交接千头万绪的移动业务，另一方面是他需要好好筹划自己的“再次回归”：和1999年第一次回国创办研究院不同，2005年的中国已经是全世界的焦点，不止跨国公司，就连许多本土高科技企业也对研发投入越来越多；更重要的是，在雷德蒙总部近两年，张亚勤对微软公司的风格和运转有了更真实的体会，中国的研发该如何做才能为中、美双方都带来最大效益，这是一个问题。
亚勤的话：我是最相信中国传统道义的，我自己的行为方式是中庸之道，中庸之道不是说什么都不做，而是寻求一种和谐、一种自然、一种平和，不走极端。
张亚勤思考问题最喜欢坐在西雅图的家里，面对屋外两片幽静的湖泊，偶尔会有一艘小船荡过来，湖面泛起层层涟漪。在这种静谧的湖光山色中，张亚勤喜欢斟一杯红酒，在纸上写写画画。停笔的时候，往往也是思考有了结果的时候。
这次，他面临的则是关于中国研发的长远问题：去跟Google竞争吗？当然不是，这种阶段性事件只是短期问题。更重要的是基于微软公司自己的长期目标。三年、五年、十年之后，微软全球研发布局会是怎样，中国将会扮演怎样的角色？接受回国任命之后的三个月里，张亚勤考虑的是始终是这些关乎长远的战略性计划。最终，张亚勤逐渐廓清了画面—五年之内，把中国建成微软在美国之外最大的研发基地，跨国企业在中国最大的研发基地，世界一流的基础研究、技术孵化、产品开发和产业合作的最大研发基地。
此时已经是2006年1月份了，整理好心情，张亚勤终于坐上了飞往北京的航班。