如何将心镜打磨明洁，说来简单，将尘土拂尽也就是了。但细想起来，哪些是尘土、哪些不是尘土，换言之，哪些是人欲、哪些不是人欲，实在是很难分辨的。
以今天的眼光来看，对美食与美色的喜爱当然属于天理。明朝人虽不这样想，但也有一些他们会有的疑惑。《传习录》的第一版里，陆澄和老师有这样一段问答：
澄曰：“好色、好利、好名等心，固是私欲。如闲思杂虑，如何亦谓之私欲？”先生曰：“毕竟从好色、好利、好名等根上起，自寻其根便见。如汝心中决知是无有做劫盗的思虑，何也？以汝元无是心也。汝若于货色名利等心，一切皆如不做劫盗之心一般，都消灭了，光光只是心之本体，看有甚闲思虑？此便是‘寂然不动’，便是‘未发之中’，便是‘廓然大公’。自然‘感而遂通’，自然‘发而中节’，自然‘物来顺应’。”
心学修养，时时处处都要“恨斗‘私’字一闪念”，而陆澄的困惑是，淫念和名利心自然都是“人欲”，属于该斩尽杀绝的念头，但平日里还有很多杂七杂八的念头，与淫念和名利心都没关系，这些念头为什么也属于“人欲”，也要被灭掉呢？
王守仁的答复可谓洞悉人性之深：“所有这些貌似与淫念、名利心无关的杂念，追根溯源的话无不是从淫念、名利心而来的。正如你心里无论有多少杂念，都不会生出做强盗的念头，这是因为你从根本上就没有这种心。你的淫念与名利心如果都被消灭了，就像做强盗的念头从你心里彻底消失了一样，只剩下心之本体，那时候哪还有什么杂念呢？”
被王守仁说对的一点是，我们所有的杂念确实都有着淫欲和名利心上的根源。以现代知识来看，基因把我们塑造成这个样子，我们的一切所思所想、所作所为，从生物学意义上说，都是有意无意地为了在最大限度上促成基因复制，于是淫欲使我们努力寻找配偶，名利心使我们努力战胜对手，即便是貌似道德的利他主义，归根结底也不过是为了提高我们作为群居动物的生存能力罢了。换言之，一切都是人欲，也都是天理。
当然，这不是明朝人能够理解的道理。而明朝人继而会产生的疑惑是，这些道理佛教早就在说，看佛教灭人欲灭得多彻底，那么阳明心学和佛学究竟有什么不同呢？《传习录》有答案如下：
又问：“释氏于世间一切情欲之私都不染着，似无私心。但外弃人伦，却似未当理。”曰：“亦只是一统事，都只是成就他一个私己的心。”
以原教旨主义的角度来看，佛教的修行方式是力求戒除一切私心、情欲，比朱熹、王守仁主张的“存天理，灭人欲”更彻底。儒家灭人欲，毕竟还准许本着生育目的的性生活，佛教连这一点都要断绝。所以在儒家看来，佛教“灭人欲”虽然令人钦佩，但做到灭绝人伦的地步似乎过火了，而过火也就意味着与天理不合。
王守仁却认为这里不存在过火与否，佛教徒的修行一以贯之，只为成就私心，换言之，完全与天理无涉。当然，佛教徒不会认同这样的论断，尤其大乘佛教打着普度众生的旗号，会说之所以放弃小爱，正是为了成就大爱。譬如刘勰《灭惑论》有辩解说“瞬息尽养，则无济幽灵；学道拔亲，则冥苦永灭”，意即生前对父母尽孝，只是在“今生”这个短短的时间里孝养父母罢了，如果学成佛法来帮助父母，这才能使父母永离轮回苦海。
这样的辩解足以使儒家失去还手之力，因为佛教站在更高的维度以六道轮回的永恒视野来看问题，结论自然与只站在今生今世的儒家不同。至于六道轮回是否存在，那又是一番新的辩论了，但无论如何，认可六道轮回总比儒家“未知生，焉知死”的存疑态度更让人心里踏实一些，毕竟一个错误的结论比没有结论更让人喜欢。
儒家如果勉强招架，会搬出那套“修齐治平”的次序，“一屋不扫，何以扫天下”？孰是孰非，就取决于各人的立场了。更为要紧的问题倒不是孰是孰非，而是王守仁的这一套内心修炼方式究竟有多大的可行性。
今天我们站在儒学世界之外，当然可以毫无顾忌地说：“恐怕没有人能做到啊！”
这不怪我们怯懦，其实明朝人也做不到，所以阳明心学发展下来，迅速退变为一种过于简易的学术：太多人束书不观，但求心之所安，信心高涨到几乎爆棚的地步，而那种时时处处格除心中人欲萌芽的苦功夫，能坚持下来的人从来都是凤毛麟角。
所以，“破山中贼易，破心中贼难”倒是一句实话，而就在“山中贼”已破、“心中贼”在破的当口儿，又有“朝中贼”要王守仁去破了。