第二天早上，和后来的许多个早上一样，奎因坐在百老汇大道和99街的交通环岛中央的一张长椅上。他总是早早地就来了，从不晚于七点钟，坐在那里喝着外带咖啡，吃着一个黄油面包卷，膝上摊着一张打开的报纸，眼睛盯着那家旅馆的玻璃门。八点左右，斯蒂尔曼就会出来，总是穿着那件棕色的长外套，带着一个老大的旧式手提包。一连两个星期都是这套例行程序，没有变化。老人总是在邻近的几条街上转悠，慢慢地向前挪着步子，有时只挪动一点点，停下，往前走，再停下，好像每个步骤都要先被放到整套动作中去掂量。以这样的方式走路对奎因来说相当困难。他习惯于干脆利落的脚步，所有这些开始啊停顿啊拖着脚走啊开始让他变得疲惫不堪，好像自己身体的节奏都被打乱了。他就是那只追赶乌龟的野兔，不得不一再提醒自己退后一些。
斯蒂尔曼在散步中都做了什么，对奎因来说依然是个谜。当然，他用自己的眼睛全程跟进着，尽可能详尽地把所有的事情都记在了红色笔记本里。可是，他却说不上来这一切究竟意味着什么。斯蒂尔曼似乎从来没有特意要去什么地方，他似乎也不知道自己在哪里。然而，就像是经过精确设计似的，他总是在一个有限的范围内打转，北至110街，南到72街，西面是河滨公园，东面到阿姆斯特朗大道。不管他的行程看上去有多随意——而且每一天的活动路线都不一样——斯蒂尔曼从不越过这些边界。这种精确性让奎因非常困惑，因为在其他方面，斯蒂尔曼又似乎是漫无目的的。
斯蒂尔曼走路时从不抬头，两眼永远盯着人行道，好像在找什么东西。确实，他总是不时地停下来，弯腰从地上捡起什么东西，细细打量一番，在手里翻过来倒过去。这让奎因联想到检视着史前废墟的一块什么残片的考古学家。有时，仔细查看一番手里的东西之后，斯蒂尔曼会把它扔回人行道上。但更常见的情形是，他打开手提包，把那样东西小心地搁进去。然后把手伸进外套口袋里，掏出一个红色笔记本——跟奎因的本子很像，但要小一些——神情专注地写上一两分钟。写完后，他把笔记本塞回口袋，拎起包，继续走他的路。
就奎因所知，斯蒂尔曼收集的都是一些毫无价值的东西。看起来无非是一些破碎的东西，被人丢弃的废物，零零碎碎的垃圾。几天过去了，奎因记录下来的那些收集品有：一把破损的折叠伞，一个橡胶娃娃掉下来的头，一只黑手套，一个破灯泡的底部，几张印刷品（浸过水的杂志和撕破的报纸），一张破照片，一个叫不出名字的机械部件，还有另外一些乱七八糟的他也说不上是什么的破烂。斯蒂尔曼的拾荒行动是如此认真，这倒是激起了奎因的好奇心，但他只能在旁观察，把所见所闻记在红色笔记本上，傻乎乎地徘徊在事物的表面。同时，想到斯蒂尔曼也有一个红色笔记本，这使他很高兴，好像这就建立起了他俩之间的某种秘密联系。奎因怀疑，斯蒂尔曼的红色笔记本上可能会有在他心中累积多时的那些问题的答案，于是他开始谋划要从老人那里把这本子偷来。不过，现在还没到这么干的时候。
除了上街捡东西，斯蒂尔曼似乎什么都不干。他会时不时地停下来找个地方吃饭。有时撞上了什么人，他会咕哝着开口道歉。有一次，他过马路时，还差点被一辆汽车撞了。斯蒂尔曼没跟任何人交谈过，也没有进过任何一家商店，没有露过笑脸。他似乎既不快乐也不伤心。有那么两次，他捡到的东西个头太大，于是他中午就折回了旅馆，然后几分钟后又出现了，手里拎着那个空的提包。大多数日子里，他要在河滨公园待上至少几个小时，机械地沿着碎石铺筑的人行道走着，有时还会拄着棍子在灌木丛里艰难前行。他不会因为要找的那些东西窝在草丛里就弃之不顾。石块啦，树叶树枝啦，诸如此类的东西都进了他的手提包。有一次，奎因看到，他甚至弯下身子去观察一堆干狗粪，小心翼翼地嗅了嗅，把它留在了原地。有时，斯蒂尔曼也在公园里歇一会儿。下午，通常是午饭后，他会坐在长椅上对着哈德逊河发呆。有一次，一个暖洋洋的下午，奎因瞧见他仰躺在草地上睡着了。夜幕降临时，斯蒂尔曼通常在97街和百老汇路口的阿波罗咖啡馆吃饭。然后回旅馆去过夜。他一次也没有试图接触他的儿子。弗吉尼娅·斯蒂尔曼也证实了这一点，奎因每天晚上回家后都会给她打电话。
基本情况变得非常复杂难解。渐渐地，奎因开始觉得自己脱离了起初的目标，他怀疑自己是不是在从事一项毫无意义的工作。当然，也有可能斯蒂尔曼是在掐算着时机，想在出手之前把大家都弄得身心俱疲。不过，这个假设的前提是他知道有人在监视他，但奎因觉得这不太可能。到目前为止，他的活干得不错，一直谨慎地和这老人保持着距离，将自己隐没在街头的人流中，既不引起他的注意，也没有采取过分的措施隐藏自己。但从另一方面来看，斯蒂尔曼有可能从一开始就知道自己会被人跟踪——甚至事先就知道了——因此不想自找麻烦去找出那个跟踪者到底是谁。如果被跟踪是必然的，那找出那个人又有什么意义呢？一个跟踪者一旦被曝光，总会被另一个替代的。
这种视角对奎因来说是一个安慰，他决定相信这种判断，尽管毫无根据。斯蒂尔曼要么知道自己在做什么，要么不知道。如果他不知道自己在做什么，那奎因就什么都查不到，只是在浪费时间。但相信他所有的步骤都有特定的目的，那就好得多了。如果这种解释绕不开斯蒂尔曼的知情，那奎因也愿意把这种知情作为一种信条接受下来，至少暂时是这样。
然而，在跟踪这老人的过程中，还有一个问题是如何让自己保持全神贯注。奎因习惯于游荡。在这个城里漫步教会了他理解内在与外在的联结。把无目的的行动当成一种倒转的手段，在感觉最好的日子里，他能够把外界的东西摄入体内，从而成为内心的主宰。通过让外在之物充斥自身、把自我驱逐出去，他在某种程度上抑制了自己的绝望心境。因此，游荡，应该是一种无意识的举动。但跟踪斯蒂尔曼不是游荡。斯蒂尔曼可以游荡，可以像盲人似的从一个地方晃到另一个地方，但奎因无法享有这种特权。因为他现在只能将注意力集中在对方的一举一动上，即使对方几乎什么都没有做。他的思绪会时不时地飘走，紧接着飘走的是他的脚步。这意味着他时常会有加快了脚步、从后面撞到斯蒂尔曼身上的危险。为了避免这种纰漏，他想出了几种减速的办法。首先是提醒自己不再是丹尼斯·奎因了。现在他是保罗·奥斯特，每走一步，他都力求使自己在这个框架内做得更自如一些。奥斯特对他而言不过是一个名字，一个没有内涵的躯壳。要成为奥斯特，即意味着要成为一个没有内心的人，一个没有思想的人。问题是，如果他不再拥有那些思想，再也无法进入自己的内心世界，那他就没有退缩的余地了。作为奥斯特，他不可能唤起任何记忆或是恐惧，任何梦想或是欢乐，因为所有这一切都属于奥斯特，对他来说都是一片空白。到最后，他只需维持自己的一具躯壳，向外寻求补给。因此，使自己的目光锁定斯蒂尔曼，不只是他对自己的思想训练中的一种消遣，也是他唯一允许自己保留的思想。
一两天下来，这方法还稍有成效，可是弄到后来，即便是奥斯特也被这单调的行动搞得郁闷了。奎因意识到，他需要更多的东西来占据自己，在执行这项任务时出现的那些细枝末节也都不能放过。最后，是红色笔记本帮了他的忙。不再像最初的几天那样，只是草草地记下一些随意的说明，他决定尽可能地记录下斯蒂尔曼的每一个细节。他用那支从聋哑人那里得来的圆珠笔，不辞辛劳地做着他的任务。他不但记下了斯蒂尔曼的手势，描述了他收进提包或没选中的每一样物品，记下了所有事情发生时的准确时间，还详细列出了斯蒂尔曼的偏移路线，记下了他经过的每一条街道、每一个街角，甚至每一个停顿。除了让他忙碌不停以外，红色笔记本也使奎因的脚步放慢了许多。这下就不会发生撞上斯蒂尔曼的危险了。相反，现在的问题是怎么跟上他，确保他不会消失。毕竟，走路和书写是很难兼顾的动作。如果说在过去五年中，奎因通常在同一时间只能做其中的一件或是另一件，那现在他得试着同时做这两件了。一开始，他犯了许多错误。尤其困难的是在视线离开页面的情况下书写，他经常发现自己写偏了，两行甚至三行字迹叠在一起，乱七八糟难以辨认。可是，看着本子写字，就意味着必须停下脚步，这就会加大跟丢斯蒂尔曼的可能。折腾了一段时间以后，他觉得关键是姿势问题。他试着把本子擎在迎面四十五度角的位置上书写，发现左腕擎不了多久就撑不住了。后来，他试着把笔记本正对着脸部，眼睛从本子上方露出，就像是一个真人版的基尔罗伊，但事实证明这并不管用。接下来，他把右臂折起，将笔记本放在肘弯以上几英寸处，用左手撑住笔记本背面。但这一来他写字那只手就很受限，而且几乎没法写下半页。最后，他决定把笔记本架在左侧髋部，就像画家端颜料板的样子。这是一大改进。这种拿本子的方式不会带来紧张感，拿笔的右手也不受其他任务的妨碍。虽然这种方式也有缺点，但长远看来，这似乎是最舒服的姿势了。因为奎因可以几乎同时把注意力分配在观察斯蒂尔曼和书写这两件事情上，朝上瞟一眼可以做一件事，低下头可以做另一件，看和写似乎都成了一气呵成的连贯动作。右手捏着聋哑人的笔，左髋上架着红色笔记本，奎因又跟着斯蒂尔曼走了九天。
他每晚与弗吉尼娅·斯蒂尔曼的通话都很简短。虽然接吻的记忆仍然鲜活地留在奎因的脑海中，但事情不再有任何罗曼蒂克的发展。最初，奎因曾期待过会发生点什么。在如此诱人的开端后，他确信终将把斯蒂尔曼太太搂在自己怀里。但他的雇主很快就退缩到照章办事的面具后面去了，一次也没再提及那个仅此一次的激情时刻。也许奎因被自己的希望误导了，暂时把马克斯·沃克和他自己给搞混了，而马克斯·沃克从来不会在这种情况下失手。也可能只是奎因开始强烈地感觉到孤独了。很长时间以来都没有一具温暖的躯体躺在自己身边了。事实上，他在见到弗吉尼娅·斯蒂尔曼的那一刻就有了强烈的性冲动，远在她亲吻他之前。她现在疏离的态度也无法阻止他继续想象她赤身裸体的样子。每天晚上，色情淫荡的画面都会掠过奎因的脑子，虽然现在看来它们变成现实的希望非常渺茫，但仍是一种令人愉悦的消遣。很久以后，也就是当一切都为时已晚，他意识到自己内心深处滋生过一种骑士式的希冀——即以漂亮的手法解决这个案子，迅速而不留后患地把彼得·斯蒂尔曼从危机中解救出来，这样，只要他愿意，就可以赢得斯蒂尔曼太太的青睐。当然，这是一个错误。但是在奎因从头到尾所有犯过的错误中，这个错误也不见得比其他的更糟。
这是他接手这案子的第十三天。那天晚上，奎因回到家里时的情绪非常低沉。他灰心丧气，打算放弃了。尽管他一直在自娱自乐，尽管他编造了一些使自己坚持下去的故事，但对案件来说似乎没什么实质意义。斯蒂尔曼是个疯老头，早已忘了自己的儿子。就算一直跟踪到他死去，也未必会有什么事情。奎因拎起电话，拨了斯蒂尔曼家的号码。
“我打算停手了，”他对弗吉尼娅·斯蒂尔曼说，“就我所观察到的情形来看，他对彼得没有任何危胁。”
“这正是他想达到的目的，”女人这样回答，“你不知道他有多聪明，多有耐心。”
“他肯定有耐心，但我没有。我想你在浪费自己的钱。而我在浪费我的时间。”
“你肯定他没有看见你吗？这可能会让情形变得大不相同。”
“我不会拿我的生命来打赌，但确确实实，我可以肯定他没看见我。”
“那么你想说什么？”
“我想说的是，你们没什么可担心的。至少目前是这样。假如过后有什么事情发生，可以跟我联系。我会在麻烦露头的第一时间赶来。”
一阵停顿后，弗吉尼娅·斯蒂尔曼说：“也许你是对的，”接着，又一个停顿，“但为了让我稍微放心点，我们能不能找个折中的方案。”
“那要看你打算怎么折中。”
“是这样。再盯几天。要确保没有危险。”
“有一个条件，”奎因说，“你得让我以自己的方式行事。不再加以限制。我必须能自由地与他交谈，向他提问，彻底摸清他的底细。”
“那不是太冒险了吗？”
“你不必担心。我不会跟他摊牌。他甚至都不可能猜出我是谁，我想干什么。”
“你怎么做到这一点？”
“这是我的事情。我自有锦囊妙计。你必须相信我。”
“好吧。我会关注事情的发展。我不希望造成什么伤害。”
“很好。我需要几天的时间，然后我们再来看看事情发展到什么地步了。”
“奥斯特先生？”
“嗯？”
“我非常非常感谢你。彼得过去两星期的情况也很好，我知道这都是因为你。他一直在谈论你。你好像……我不知怎么说……对他来说，就像是一个英雄。”
“那么，斯蒂尔曼太太的感觉如何呢？”
“对她来说也是一样。”
“很高兴听到你这么说。也许某一天她也会允许我感谢她。”
“万事皆有可能，奥斯特先生。你应该记住这一点。”
“我会的。我傻了才不会。”
奎因吃了一顿简单的晚饭，炒鸡蛋和煎吐司片，喝了一瓶啤酒，随后就把红色笔记本摊在桌上。他记录这些东西已有多日，用他那飘忽的笔迹，挨挨挤挤地写了一页又一页，但他还没有心思整个读一遍自己所写的东西。既然结局似乎已经可以看得到了，他觉得也许可以试着看一下了。
大部分页面都难以辨认，尤其是前面几节。他费力地破译那些字句，心想似乎不值花这么大力气。“在街上捡起一支铅笔，凝视着，犹豫着，塞进提包……在便利店买了三明治……坐在公园长椅上，翻看着红色笔记本”，这些句子对他来说完全没有什么价值。
完全是方法问题。如果目标是想理解斯蒂尔曼，充分了解他以求事先就能够预料他下一步将如何行事，那么奎因做得并不成功。他着手调查这事，只是基于一些有限的事实：斯蒂尔曼的履历和他的专业背景，他对儿子的囚禁，他的被捕以及住院治疗，他那本据说神志还正常时写的怪诞学术论著，以及更为重要的，弗吉尼娅·斯蒂尔曼说他现在企图伤害他儿子的断言。然而，所有这些过去的事况跟眼下的情形似乎都扯不上关系。奎因大失所望。他之前总以为，出色的侦探工作的关键是密切注视细节。了解得越是翔实准确，办案就会越成功。这意味着人类的行为是可以被理解的，在无限的举手投足、习惯行为乃至缄默的表象之下，总能找出某种关联、某种秩序、某种动机来源。然而，在费力地捕捉到所有这些表象之后，奎因却觉得自己并不比一开始跟上斯蒂尔曼时更了解他。他过着斯蒂尔曼的生活，用他的步子行走，随着他的目光观察这个世界，而现在他唯一的感觉就是这个人的深不可测。他不但没有缩小自己和斯蒂尔曼之间的距离，反而看着这老人从自己身边溜走了，就在自己眼皮子底下。
并非出于什么确定的想法，奎因把红色笔记本翻到空白页，画了一幅斯蒂尔曼游荡区域的袖珍地图。
然后，仔细地审阅他的笔记，开始用笔追循斯蒂尔曼一天之内的行动路线——根据他第一天对这老人的漫游所作的完整记录，其结果如下：
奎因被斯蒂尔曼这一圈足迹的边界的模样惊呆了，他一次也没有进入中心地带。这幅图看上去像是想象里中西部某个州的地图。除了一开始从百老汇往北走的十一个街区，以及代表着斯蒂尔曼在河滨公园曲折前行的一系列花边，这幅图接近一个矩形。另一方面，考虑到纽约街道的四分结构，它也有可能是一个“0”，或是字母“O”。
奎因继续看接下来一天的记录，想看看会出现什么情形。结果却完全不一样。
这幅图形使奎因想到了一只鸟，或许是一只猛禽，在空中振翅翱翔。片刻之后，他觉得这种解读似乎显得过于牵强了。这只鸟消失了，取而代之的仅是两个抽象的图形，被斯蒂尔曼向西走过83街时拉出的一道不起眼的线连接在一起。
奎因停顿片刻，思考着自己正在做的事。他是在毫无意义的涂鸦吗？他是在像白痴似的消磨一个晚上吗，还是在试图发现什么呢？不管是何种回答，他意识到，都令人难以接受。如果他只是打发时间，何必选择这么费劲的方式？他已经糊涂到没有勇气去思考了吗？反过来说，如果这不只是一种自娱自乐，那么他实际上是在做什么呢？看起来他似乎是在寻找某种迹象。他在从斯蒂尔曼混沌的行动中搜索着一丝合理性。这只意味着一件事：他对斯蒂尔曼行动的随意性依然心存怀疑。他想从中找出某种意义，不管那有多么晦涩难解。这件事情本身就是难以接受的。因为这意味着奎因允许自己否认眼前的事实，据他所知，这是一个侦探所能做的最糟的事。
但他还是决定继续把这件事情做下去。现在还不太晚，不到十一点钟，事实上这又没什么坏处。结果这第三幅地图和前面两幅毫无相似之处。
接下来的事情就是显而易见的了。如果把那些公园里的波形曲线剔除，奎因可以肯定地说自己面前是一个字母“E”。假设第一个图形确实是代表了字母“O”，那么可以合理地推断出那个鸟翼状图形是字母“W”。顺理成章地，字母O-W-E拼成了一个单词，但奎因不准备就此得出结论。他是从第五天才开始详细记录斯蒂尔曼行程的，要确认前面四天是什么字母只能靠推测了。他后悔没有一开始就着手记录，因为他知道前面四天的秘密是不可复原的。但也许他能以一种勇往直前的方式弥补过去的缺失。等走到最后，也许直觉会告诉他开头的字母是什么。
接下来一天，图形似乎成了一个代表字母“R”的形状。与其他几幅图相比，它显得十分复杂，公园那块地方画出了那许多不规则的线条，彼此近似，像是过分修饰。奎因仍坚持客观地看待图形的形状，试图撇开那种心理预期，一上来就把它视为字母表上的字母。他必须承认没有什么东西是确凿无疑的：这很有可能是毫无意义的。也许，这就像是小孩子从天上变幻的云朵里寻找图形。但是，这巧合也太令人震惊了。如果只有一幅地图像字母，哪怕是两幅，他也许都会把这视为偶然的怪事而置之脑后。但是，四幅地图形成的一排字母就远非巧合可以解释的了。
再接下来的一天，图形给了他一个有点偏斜的“O”字，像是一个甜面圈，一侧被压扁了，另一侧突出着三四个锯齿状的线条。然后出现了一个规整的“F”，一侧带着洛可可风特有的涡状纹饰。这之后是一个“B”，看上去像是两个随意摞在一起的盒子，边角被精心打磨过了。接着是一个站立不稳的字母“A”，有点像是一把梯子，每一边都有几个阶梯。最后，又是一个字母“B”：摇摇欲坠地斜在一个尖齿上，像是一个颠倒的金字塔。
奎因按顺序抄下这些字母：OWEROFBAB。不停地摆弄了一刻钟之后，又把它们拆开，重新排列，再回到最初的次序，按以下方式写出来：OWER OF BAB。谜底看起来太荒诞了，他几乎失去了勇气。再考虑到他错失的前面四天，以及斯蒂尔曼还没写完，答案似乎是不容逃避的：THE TOWER OF BABEL（巴别塔）。
奎因的思绪马上飘向《亚瑟·戈登·皮姆的故事》的结尾部分，那些在岩缝内壁里发现的奇异的象形符号——土石自然剥落形成的字母，好像它们想要说出某种不能被人理解的事情。但他转念一想，这似乎不太贴切。因为斯蒂尔曼没有把他的信息留在任何地方。的确，他挪动着自己的脚步创造出了这些字母，但它们并没有被写下来。就像是一幅你用指头描绘在空气中的画。你一边画，它一边就消失了。你所做的一切都没有结果或踪迹可循。
但是，这幅画确实是存在的——并非存在于绘出线条的街道上，而是在奎因的红色笔记本里。他不知道斯蒂尔曼是每天晚上都坐在他的房间里谋划着第二天的行动，还是临时决定如何行走。这一点不得而知。他也不知道斯蒂尔曼这么走的目的是什么。只是一种自我暗示，还是有意给什么人留下的信号？但最最起码，奎因可以得出这样一个结论：斯蒂尔曼没有忘记亨利·达克。
奎因不想慌神。他竭力控制着自己的思绪，试着想象最糟糕的可能性。看到了最糟糕的，也许事情倒不会像自己想象的那么糟了。他索性把想到的事情开列如下：第一，斯蒂尔曼确实在谋划加害彼得。结论：无论发生什么，这都是个前提。第二：斯蒂尔曼知道自己会被跟踪，知道他的行踪可能被记录下来，知道他的信息可能已被解读。结论：这不会改变一个基本事实——彼得必须被保护起来。第三：斯蒂尔曼比先前料想的更加危险。结论：这并不意味着他能侥幸得手。
这样搞下来确实有点用处。但那些字母依然困扰着奎因。这整个事情的陈述真是太拐弯抹角，太邪门了，以至于他不想接受这种解释。接着，疑惑又来了，像是得到了什么指令似的，他脑子里回响着嘲弄的讪笑，还有吵吵闹闹的歌声。他想象了一下整个事情。那些字母根本不是什么字母。他发现了它们仅仅是他想要发现它们。而且，即便那些图形组成了字母，也只是一种偶然罢了。跟斯蒂尔曼没关系。完全是一场意外，他把自己给涮了。
他决定上床去睡觉，已经睡着了，却又醒过来，在红色笔记本上写了半个小时，又回到床上。入睡前最后一个想法是，他也许还有两天时间，因为斯蒂尔曼还没有完成他要表达的信息。还剩下最后两个字母——“E”和“L”。奎因的意识涣散了。他游向某个片段组成的永无之地，这地方尽是无词之物和无物之词。接着，最后在睡意昏昏的挣扎中，他告诉自己，“EL”就是古希伯来语“上帝”的意思。
在他后来忘记了的那个梦里，他发现自己在儿时镇上的垃圾场里，细细筛拣着那座垃圾山。