接受回国的邀请后，张亚勤在窗前伫立了很久，心情复杂。
回国，到底会不会是一个错误的决定？在一个人安静下来的时候，张亚勤难免会权衡这个选择的对与错。在国外学习、生活十几年的场景从脑海中一一闪过。工作顺风顺水，成绩越来越突出，这样的生活安逸舒适，几乎可以一眼望到几十年后的自己，这令张亚勤不寒而栗。更重要的是，随着事业的成功，自己对中国的牵挂却越来越强烈。在内心深处，他期待着能为自己的国家做些什么。
博士毕业那年，他曾经希望能够学成归国，但没能如愿。留在美国作研究的这十年里，张亚勤一直跟国内相关领域的专家保持着联系。当时国内的资讯比较落后，研究人员甚至还看不到IEEE杂志等国际研究前沿的成果。于是，张亚勤经常给国内的老师朋友发邮件，传递IEEE杂志中的论文。
这中间还有个小插曲。那时候国内收发邮件是按字数来付费，张亚勤并不知道这个情况，他给中国科技大学的老师回邮件时常常把老师发的内容也一起返回，这样老师在收邮件时要多付发件原文的钱，张亚勤知道后很是内疚了一段时间。
1993年，张亚勤代表GTE研究室到拉斯韦加斯参加国际计算机领域的年度盛会COMDEX。当时中国国内计算机科研发展还处于起步阶段，COMDEX展会上根本没有设中国的展位。但张亚勤却意外地遇到了来自国内中软公司的几位代表。张亚勤跟他们一见如故，邀请他们到自己住的酒店小叙，畅谈国内外计算机发展的前沿趋势。
让张亚勤兴奋的是，几位代表对他讲的多媒体发展动向十分感兴趣，追问了很多问题，大家讨论得非常热烈。这次偶遇让张亚勤看到了中国对前沿科技的执著追求，他深知，这种追求正预示着国内计算机领域未来的希望。果然，没过几年，中软公司、联想公司等中国企业就开始在这类国际级展会上有了自己的展位，展位上展示的也都是自主品牌的产品。这种变化，让张亚勤隐隐感觉到国内的机会越来越多。
自1990年起，张亚勤就成为国际标准组织ISO（International Organization for Standards）中专门负责数字音视频编码的MPEG委员会（全称Moving Picture Experts Group）的核心成员。他回顾说：“那个时候，中国还不是这个标准的成员国，也没有中国的科学家参与这个重要的标准组织。但是，国内的学术同行们也逐渐开始关注国际前沿的学术动态。1996年，中国科学院的高文教授给我写了封信，希望中国能够加入MPEG委员会。这封信中提到他们在国内也做出了一些研究成果，但很难得到国际认可。所以希望能够加入MPEG委员会了解和影响国际标准，增加中国学术界在国际学术科研中的话语权。”
高文教授在信中提到的困境也是当时国内学术界一个尴尬的现实—由于长期的闭塞，中国科学家很难在国际核心期刊发表文章，国内的研究在国际上基本发不出声音，这反过来又阻碍了科学家的研究成果得到国际承认。同是科学家，张亚勤太了解做出了东西却无法传播的苦闷，他开始想办法解决这个问题。
就在1997年，ISO/MPEG委员会召开非常重要的年度会议，张亚勤被推举担任这次会议的轮值主席。于是，就在这次会议上，张亚勤邀请高文教授参加，中国正式加入了ISO/MPEG委员会，从此中国的学者和企业积极活跃在世界视频标准的舞台上。
作为海外华人科学家中的佼佼者，张亚勤在国内的影响也逐渐扩大。后来，国防科工委的汪成伟院士还以清华大学教授的身份，带了一个代表团到张亚勤所在的研究院去作访问。每次有这样的考察团来访，张亚勤总是不遗余力，尽可能多地安排参观、座谈和演示。从国内这些学术同行们的身上，张亚勤也感觉到了国内正在发生着的深刻变化。
1997年，香港回归。对于每个华夏儿女来说，都是件值得庆祝的大事，这也是中国综合实力提升的一个象征。与所有的海外游子一样，张亚勤也为自己的祖国感到骄傲，他终于忍不住要回国看一看。
此时，张亚勤所在的桑纳福公司也接到了来自中国国防科工委的合作邀请，于是，他作为美方代表回国洽谈合作事宜—这是自20世纪80年代出国读书之后，张亚勤第一次回国。
1997年的北京，跟当年张亚勤在中国科技大学读研究生来买实验器材时看到的北京完全是两个世界。当时他跟桑纳福的老板一起住在王府饭店，张亚勤说：“我发现很多中国人也在一掷千金地消费，比如价格动辄成千上万元的洋酒，销量很大，这让我有种说不出的感受，中国真的开始进入商业化社会了。我心里想，这次回来正是时候，谈合作应该没问题。”
然而，在所有合作项目的洽谈中，都存在同一个问题：国内公司对先进技术确实需求很大，可双方在价钱问题上的差异也很大。当时国内公司做一个项目一年能拿出几百万人民币就算是很多了，而这些钱对于国际高科技企业来说，可能是一个项目的零头。最终，张亚勤跟科工委和中国联通等几家公司谈的几个项目都没有成功。
合作没有谈成，张亚勤心里很不是滋味。他本来还希望桑纳福能在国内开分公司，他就可以回国主持分公司，但从这次谈判的结果来看，走这条路回国暂时还是行不通的。这也让张亚勤内心有些沉重：国内与国外的差距，并不是仅凭一己之力可以改变的。要回国，必须尝试其他途径。
仅仅一年之后，李开复的邀请、微软的平台，再次点燃了张亚勤的希望。张亚勤说：“我的内心有一个声音在召唤我回来。尽管国内的条件相对落后，但这也是我回来的价值—用自己的努力为改变局面做些什么。”