任何一个罪犯，总以为自己干的坏事很隐秘，人不知，鬼不觉，不会遭到惩罚；尤其那些所谓有头脑的高级惯犯，作案前总要精心策划，深谋远虑，如何行动才能得手才能搞得天衣无缝，不留痕迹，以便作案后能逃脱罪责，逍遥法外。即使万一被人怀疑，最后也因拿不出罪证而无奈他何。
如日本西村京太郎的中篇小说《双曲线的杀人案》，叙述一对孪生兄弟，屡次抢劫，屡次得手。他们模样生得十分相似，作案时故意让人看清面目，却不留下任何指纹。一人作案，俩人有意在不同地点让被害人认出，分别被扭送警察局。由于两兄弟长相一模一样，站到一起，被害人便无从辨认哪个是兄哪个是弟，更说不准作案人是兄或是弟。尽管刑警确信其中至少有一名罪犯，但因缺少证据，只好愤愤地把这对孪生兄弟释放。直到后来，孪生的弟弟再次抢劫银行，被埋伏在那里的刑警们当场捕获，罪犯才不得不低头认罪。
侦探们都很清楚，固然逻辑是一切阴谋诡计的克星，能帮助他们确定侦察目标，识别真情假象，甚至判定谁是真凶，谁是冤主；但它毕竟只是一种理论上的阐述，假设的论证，盖然性的判断。倘若要指控罪犯，把他押上法庭，审判定罪，那就必须拿出真凭实据。因此，证据便成为侦探制伏罪犯的一柄杀手锏。
高木彬光是日本著名的推理小说家，他的《破戒裁判》可谓法庭推理小说的拔群之作。检察官指控村田先后两次杀人，并弃尸于旱桥下的铁轨上，制造自杀假象。村田对杀人罪矢口否认，只承认一个事实：帮助情妇康子用汽车把被她杀死的丈夫尸体运到旱桥，扔到铁轨上。百谷律师（相当于侦探）在法庭上为被告辩护，并指出前来作伪证的康子的堂兄兼情夫津川广基才是真正的凶手。百谷律师的辩护和指控，理直气壮，征服了全场听众。但由于百谷提不出一件物证，检察官仍坚持判被告村田死刑。在这一发千钧之际，百谷的妻子赶到法庭，提供一件物证：穿在死尸脚上的黑皮鞋，印有“宫村”店号；而在鞋店的订货单上，签的是津川广基的名字。百谷律师借此断定：皮鞋的主人津川广基，当时就在康子家里；村田前来帮康子转移尸体时，给死人穿错了鞋子。一件物证，立刻把向村田一边倾斜的裁判天平拨回来，向津川广基这边倾斜下去。
阿加莎描写的波洛，生性高傲自信，聪敏过人，但他办案有条准则，没有取到证据之前，决不宣布谁是罪犯，尽管他心中早有结论。在《斯泰尔斯庄园奇案》里，波洛经过调查和推理，对于罪犯，他心中早已有数，但却迟迟不予公布。用波洛的话说，是最后一环尚未解决。所谓最后一环，是指一件物证。有人在波洛眼皮底下，盗走被害人的一份文件。究意是份什么文件？窃去藏于何处？为了解开这最后一环，波洛耐心地等待，观察，思索，甚至有人被冤枉投入监狱，他也沉得住气。过了一个多月，波洛才在死者房间的壁炉架上的纸捻瓶里，找到被盗的那份文件。原来，死者的丈夫撬开文件箱，盗走一封对自己极端不利的信件，因时间紧迫，没机会带出房间又怕搜身，便把它卷成纸捻，同其他纸捻一起插在瓶子里。波洛取得了证据，好比手中握着一柄杀手锏，任罪犯如何狡猾顽固，都将落网伏法。
证据，对于侦探来说，意味着决斗的胜利，破案的成功。
对于罪犯来说，即意味着赌博的惨败，末日的到来。因此，注重证据，应当成为侦探办案的座右铭。
有一次，福尔摩斯对华生说，他有个哥哥叫迈克罗夫特，掌握推理艺术更胜他一筹，观察力比他强，但他是不可能当侦探的。华生觉得奇怪。福尔摩斯解释说：“我说他在观察和推理方面比我高明。假如侦探这门艺术只是坐在扶手椅上推理就行，那么我哥哥一定是个举世无双的大侦探了。可是他既无做侦探工作的愿望，也无这种精力。他连去证实一下自己所做的论断也嫌麻烦，宁肯被人认为是谬误，也不愿费力去证明自己的正确。我经常向他请教问题，从他那里得到解答，后来证明都是正确的。不过，在一件案子提交给法官或陪审团之前，要他提出确凿有力的证据，那他就无能为力了。”（《希腊译员》）
从这段谈话里，我们不难悟出：不厌其烦地调查，不遗余力地查证，不惜代价地取得证据，这是一切名侦探最可贵的品格。只热衷于凭空推测，不注重证据，那是称不上一名好侦探的。
证据有多种多样，但概括起来，可分为直接和间接两大类。
直接证据
所谓直接证据，是指能直接证明嫌疑对象有罪的事实根据。直接证据又有两种：
第一，现场抓获作案人。当场抓住案犯，人证物证俱在，这是最有力的证据。许多推理小说最后结案，就是根据侦探的推测，调动侦缉人员，埋伏于作案现场附近，当作案人进行犯罪活动时，突然将他擒获。
《福尔摩斯探案集》有相当一部分作品就是采用这种方法取得直接证据的。如《红发会》《空屋》《孤身骑车人》《三座拿破仑半身像》等等。《红发会》写福尔摩斯在分析案情，明确对手作案目标后，协同警察，埋伏在一家银行的地下金库里，当罪犯从地道潜入金库时，福尔摩斯一跃而起，把罪犯抓住。
再如阿加莎的《大侦探十二奇案》之七《克里特岛的野牛》，写一位海军上将的儿子休患有遗传的疯病，深夜常持刀夜游，杀羊，杀猫、杀鹦鹉。休的未婚妻请波洛调查此事。波洛经过侦查，胸有成竹。有天夜里，他守候在一个大房间里，观察动静。次日，人们又在议论休昨夜杀死一头猫，休痛苦得想自杀。波洛却说：休没有杀死猫，他精神很正常。每次发生这类事件之前，都有人给他服用催眠药，然后把一把沾满鲜血的刀子放在他手中，又在他脸盆里洗血手。这个人之所以这样干，是想逼他发疯而自杀。那么，这个人是谁？正是他父亲海军上将！因为休不是他的亲生儿子，是他妻子同别人相爱的结晶，于是他把积怨发泄到儿子身上。在此案里，波洛并没有当场抓住海军上将，但对手的所作所为，他全都看在眼里。这也是一种直接证据，能置案犯于死地。
海军上将终于被迫自杀。
第二，同作案有关的物证。当场抓住案犯，这种机会总是比较少的。多数情况是，案发后才寻找线索，取得同作案直接有关的物证，把案犯缉拿归案。如《王冠宝石案》，福尔摩斯从盗窃犯西尔维亚斯伯爵手中诈取来的王冠宝石；《血字的研究》，福尔摩斯从作案现场旅馆的窗台上找到的盛在药膏木匣里的两颗药丸；《尼罗河上的惨案》，波洛从尼罗河底打捞上来的用丝绒披肩包裹着的小手枪等等，都属于直接有关的物证。在这些赃物、毒药、凶器面前，案犯是不得不低头认罪的。
当然，物证并不一定是赃物、毒药、凶器，也有其他东西，只要与作案直接有关的，同样能制伏罪犯。如《大侦探十二奇案》之一的《涅墨亚的狮子》，有人绑架一头狮子狗，而后向狗的主人索取二百英镑，才把狗放回来。波洛受理此案，解开了绑架小狗之谜：作案人是女主人身边的伴娘卡那比。她在姐姐家豢养了一头训练有素的狮子狗，当她去公园给女主人遛狗时，先把小狗带回姐姐家，换上自己养的狗；到公园后，把牵狗的皮带割断，让狗跑回姐姐家去，然后报告女人，说小狗在公园里被人绑架了。卡那比训练的这只狮子狗，就是与作案直接有关的物证。波洛发现这头狗，也就找到了作案人。
在所有证据中，直接证据是最有力而最能制伏对手的，它是侦探的侦察活动的最高目标。
间接证据
所谓间接证据，是指那些非直接的事实根据。间接证据是不能直接证明嫌疑对象有罪的，但通过一定的推理程序，它也可以起佐证的作用。在推理小说中，侦探往往先发现某种间接证据，再以它为线索，进而取得直接证据。如森村诚一的《鸽子的眼睛》，写冢本利用银行女职员津上富枝工作之便，盗窃存款人一笔巨款，而后突然销声匿迹。存款人起诉，有关部门向全国发出通缉令。工艺品匠人高野平作以制作玩具车鸽享誉全国。一天，他发现邮寄给客户的工艺制品中，有一只鸽子没有镶上眼睛，于是他逐个去信询问，请收到“瞎眼鸽子”的顾客把它寄来，换回成品的鸽子。客户来信说他们收到的鸽子都有眼睛，唯独一位名叫本山的顾客，订购两只鸽子，却一直没有回音。高野平作断定，其中必有一只是“瞎眼鸽子”，便再次去信催换。不久，“瞎眼鸽子”寄来了，但寄货人不是本山，而是津上富枝，并附信说：鸽子是好友送给她的，要求换一只成品鸽子。高野平作推想，她的好友一定是本山，因为订货单上没有富枝的名字。但奇怪的是，他把成品鸽子寄往富枝的住址之后，竟被邮局打上“收件人地址不明”而退了回来。更奇怪的是，本山也从东京寄来一只“瞎眼鸽子”。高野平作很惊讶，怎么会有第二只？但还是换给他了。过了不久，高野平作从报纸上看到一段新闻：津上富枝被杀！她骗取巨款潜逃后，由于罪犯在分赃问题上发生争议，津上富枝被勒死，尸体埋在山林里；凶手嫌疑最大的，当然是与津上富枝同时被指名通缉的“冢本”。高野平作吃了一惊，想起那第二只“瞎眼鸽子”的事，会不会是本山怕他纠缠不休，伪造一只瞎眼的寄来？高野平作进一步深思，做出一连串推理：为什么一定要伪造呢？因为本山身边已经没有瞎眼鸽子了。为什么没有了？这就是说已经送给津上富枝了。那样的话，本山为什么不向富枝要回来呢？或者，也可以向我说明呀？本山为什么不这么做呢？也许这时富枝已被杀害，本山在富枝那里找不到鸽子了。
如果是这样，不是也可以对我实说吗？
本山不能这么做是因为“是因为本山杀死了津上富枝吗？”高野平作想着，不禁愕然地瞪大了眼睛，赶忙站起来，去警察局报案。
在这起案件里，“瞎眼鸽子”就是一件间接物证。高野平作通过寻找“瞎眼鸽子”，发现了订货人与一件凶杀案有密切关系。间接证据不像直接证据那样，凭着一件凶器或者某个与作案直接有关的物证就能够确定谁是罪犯，而是须要经过一定的推理程序，即从某个现象入手，找出产生这一现象的原因，再以这个原因为前提，推出新的结论，如此反复层进，组成一个因果链，从而达到最终的目标。“瞎眼鸽子”与罪犯盗窃存款毫无关系，跟凶杀案更无任何瓜葛，但它却是一条极其微妙的线索，引导侦探（高野平作在小说里充当了业余侦探）沿着这条线索摸索前进，终于找到无头公案的“头”。
间接证据是大量存在的。如《破戒裁判》，百谷律师在法庭上提供的津川广基向大幸证券公司购买一千万元的股票的事实，就是一个间接证据。津川广基每月工资收入四万五千元，哪来的一千万元买股票？据查是堂妹给的。堂妹因何给了这样一笔巨款？因为他是堂妹的情夫。堂妹这笔巨款又是从哪里来的？据查是她丈夫被害前卖掉股票的存款..就这样诘询下去，真相一层层揭开津川广基便一步步被推上了断头台。
间接证据，固然不能用于直接证明，但当它成为佐证之时，那就是侦探智慧充分展现之际。一般来说，直接证据是比较浅显的，不必侦探多加说明，人们就能理解、信服；而间接证据却比较隐蔽、深奥、微妙，它与案件的关系也比较疏远，没有侦探给予充分论证，人们就很难发现它与作案人的必然联系。打个不很恰切的比方，间接证据对于侦探来说，就像是魔术师手中的一块魔巾，在观众面前，翻云覆雨，变幻莫测，幻化出一个个令人惊叹不已的奇景异物。因此，有经验的小说家都深知，赠予他笔下的侦探之最佳礼品，不是廉价的美言，而是一块能让魔术师尽情表演的魔巾间接证据。