庚子义和团运动之后，中国人大的政治事件，只要涉及外国或者外国人，莫不有义和团的阴影。事件的参加者，都会极力表白，自己不是义和团，自己的行为，是文明的。1905年的抵货运动如此，辛亥革命如此，五四运动也如此。
所谓文明，就意味着和平抗争。北京的五四运动，延续几个月的罢课、罢市、游行、请愿、上街演讲，除了火烧赵家楼之外，大抵是和平的。上海的三罢罢课、罢市、罢工，都有专门维持秩序的童子军，打着“幸勿暴动”或者“警告勿暴动”字样的小旗，甚至身上披着写有同样字样的布带。对于所有的暴力行动，尤其是针对外国人的暴力行动，均持反对态度。据《晨报》报道，五四学生在天安门的时候，听闻学生要去东交民巷使馆区，步兵统领李长泰前来劝阻，担心学生不文明，惹出外交事端来。结果学生大呼：“我们举动是极文明的！”学生代表还对李说，“我们今天到公使馆不过是表现我们的爱国的意思，一切行动定要谨慎，老前辈可以放心的。”
但是，暴力却在游行队伍到达东交民巷不久就发生了。对于参加游行的多数学生，包括总指挥傅斯年和段锡朋，并没有计划去赵家楼曹汝霖家。国内和海外的两本五四运动史，都告诉我们，那年的5月4日是星期天，政府机关都在放假，没办法请愿，选择这天游行，无非为了“唤醒民众”，因此，根据组织者事先的商议，13所学校学生代表通过的决议，路线基本是繁华的商业区，顺便到东交民巷的使馆区，对外国人，主要是对美国人做一点呼吁式的请求。显然，很多学生对于后者，似乎更加在意。可惜，那天美国驻华公使芮恩施不知道学生要来，去门头沟旅行了，其余巴黎和会五强，日本自然除外，英、法和意大利公使，也外出游玩，使馆一概对学生拒不接待，只有美国使馆馆员露了面，接受了学生的请愿书。到了东交民巷又不得门而入的学生们，大为失望，心情未免烦闷。这时候，恰好有些人高喊，去赵家楼找曹汝霖算账去！于是，大队转向赵家楼。
游行队伍中的多数人，此时根本不知道赵家楼在哪里，为什么要去哪儿？当时参加过游行的作家王统照回忆说，一听说队伍要去赵家楼，人们纷纷问：“赵家楼在哪里？”“谁住在赵家楼？”大家只是跟着走而已。可是，队伍中的一些人，对此却是十分清楚的。据当时为北京高师〔高等师范学校〕学生的周予同回忆说，高师和北大的若干人，在游行前就开过一个秘密会议，在会上，一部分人不愿意用和平的游行请愿方式，想要暴动，但是怎么暴动，还没想好，据说有人可以搞到手枪，但却没有结果，只是从大栅栏的照相馆里搞到了曹、章、陆照片，“其余少数同学也只分别带些火柴、小瓶火油，以便相机利用”。周予同的同学匡互生也说，某些小团体已经事先将曹、章、陆各家的住址和门牌号码都弄清楚了，准备激烈行动。高师的俞劲，也有类似的说法，说是他们预先调查了曹、章、陆的情况。温和的罗家伦到了赵家楼感到很奇怪，怎么有人会带着“自来火”〔火柴〕呢？后来才明白，原来来的这些人早有预谋。
作为游行总指挥的傅斯年，倒是不希望队伍转向曹家，可是，这位新潮社的头儿，在北大新文化运动中很有威望的学生领袖人物，此时的话却根本没有人要听，人们需要的是一个发泄的出口，不管这个口在哪儿，总之要找这么一个。不仅如此，据罗家伦的回忆，还有人打了傅斯年一拳，从此将傅斯年打得万念俱灰，“自此以后，五四运动和傅斯年便不发生关系了”。如果这事属实，那么，等于游行的学生，在未对曹家和章宗祥动武之前，暴力就已经发生了，最先触霉头的竟然是自己人的领头人。据当事人回忆，另一个学生领袖，《新潮》的骨干罗家伦，还被人骂为“无耻胆小鬼”。
进入曹宅之后，有人要点火烧房子的时候，跟着大队人马来到赵家楼的另一个总指挥段锡朋，发现不对，见匡互生要点火，出来阻止，说：“我负不了责任！”匡互生回答说：“谁要你负责任！你也确实负不了责任。”于是，火便烧了起来。
更耐人寻味的是，这些学生在没有找到曹汝霖、抓住章宗祥痛打的时候，下手相当狠，甚至用旗杆铁棍打他的脑袋，简直是要把人往死了打。可是日本人中江丑吉出来保护章宗祥的时候，大家发现他是日本人，就不约而同地住了手，因为是担心打了日本人，“增加外交交涉上的麻烦”。按抗议者的道理，曹、章、陆无非是日本的走狗，日本人才真正是罪魁祸首，碰上了日本人，理应更加痛恨才是，怎么可能在火头上戛然而止呢？看来，不仅那些一时失控的学生，还是预谋好了的激进分子，脑袋里依然有义和团运动的阴影，他们不想让外国人，即使是仇敌，认为他们是野蛮的“拳匪”。在北京，另外一件跟日本人发生冲突的事件，发生在1919年的8月26日，当时京津两地的学生代表到新华门请愿，一直坚持到次日，发现一个日本记者安藤秀吉在场，学生们将他揪住，说是他在学生存放食物的地方站立已久，“恐暗下危险物，吾人食之必死”。但是学生并没有殴打这个日本记者，而是将他交给了巡警，依然能坚持不肯跟外国人动武。
显然，对于运动中人而言，对自己国家的人施暴，特别是对那些公认是卖国的人施加暴力，就不算是不文明。只有把火烧到外国人头上，才是野蛮，才是拳匪行径。其实，当年的义和团暴力，也主要是针对国人的，也是在他们看来具有卖国嫌疑的人，所谓信洋教、跟洋人打交道的二毛子。五四运动中，这样的暴力后来还发生若干次，对不肯抵制日货的商人，对替政府说话的《昌言报》记者，捆、打、游街，都有过。其中《昌言报》经理和主编被“双臂倒捆，复系长绳，牵至街心，人皆呼‘卖国贼’不已。有愤而手批彼等面颊者。复以该社之纸张，书‘卖国贼、汉奸’等字样，贴在彼等胸前及背后，并遍插亡命旗”游街，一路挨打。
据当日北京日华同仁医院诊断，章宗祥的伤势相当严重，诊断是，头部挫创，全身各部打扑伤兼脑震荡。诊断书上说：
现症：在头部颅顶部创伤一处，长约五仙米，深达骨膜，又有不整齐斜伤三处及小挫伤三处，在头部有横斜小裂伤二处及皮下出血肿瘤二个，又在左右耳翼有大小二处之破裂创伤，其他左右肩胛部、脊部、胸部、腹部、腰部及上下肢有大如手掌以至小如铜圆之打扑伤共二十一处，精神朦胧，应答不明，时发哼声，呼吸细微，稍切迫，脉稍频，数虽尚整调，然微弱也。胸、腹腔脏器不见变动，周身尚无骨折症状。豫后综观前记症状，现今伤势颇重，于今日非见其脑症状之经过如何，不能判定将来也。
对于这种运动中的暴力，当时的舆论，基本上没有谴责的。只有当时身为北大讲师梁漱溟，在1919年5月18日《国民公报》上，发表《论学生事件》一文，表示了异议，他说：“我的意思很平常，我愿意学生事件付法庭办理，愿意检厅去提起公诉，审厅去审理判罪，学生去遵判服罪。检厅如果因人多，检查的不清楚，不好办理，我们尽可一一自首，就是情愿牺牲。因为，如不如此，我们所失的更大。在道理上讲，打伤人是现行犯，是无可讳的。纵然曹、章罪大恶极，在罪名未成立时，他仍有他的自由。我们纵然是爱国急公的行为，也不能侵犯他，加暴行于他。纵是国民公众的举动，也不能横行，不管不顾。绝不能说我们所作的都对，就犯法也可以〔使得我们民众的举动就犯法也可以使得〕。”除了梁漱溟外，北大法学教授张孝簃在学生问到当天运动的法律问题时，也表示，学生的行为，“法无可恕，情有可原”。然而，公开发表的梁漱溟的异议，立刻引起学界精英一连串的针对他的异议和批评。很多人认为，虽然学生之举在形式上与法律不合，但却符合法律的精神，法律要遵循公理。著名国会议员兼记者蓝公武先生，还举出西方国家游行示威中出现的暴力，证明只要公众行为符合道义，有点暴力也无伤大雅。如果对此进行追究，反而在法律上是冤枉，在道德上是作伪。甚至，不仅曹汝霖的邻居含糊其辞，推说当时没看清，即使把人传来，也认不出来。就连曹家的佣人，也不肯出面具体指证是谁放的火、打的人，提供的唯一线索，是说记得先进来的学生，是戴四角帽的。从老照片上我们就能知道，当时学生戴四角帽者，车载斗量。甚至一些在事件中受伤的警察保安队员，也不肯指证学生，说连他们自己为何人殴伤，也不清楚。
显然，在这样的舆论气氛中，当时的学生断然没有可能去“一一自首”，学生的暴力，即使在当时，已经被全然忽视，甚至在传闻中被开脱：曹家的房子，是曹汝霖为了嫁祸学生，甚至是为了焚烧卖国文件，自己点燃的。公众和舆论关注的是另外一种暴力——政府对学生的暴力。火烧赵家楼之后，30多个落在后面的学生被捕，据彭明考证，被捕的学生一共有32人，其中北大20人，高师8人，工业学校2人，中国大学1人，汇文大学1人。学生被捕，当然不是因为“爱国游行”，而是放火打人，但是舆论不这么看。大家众口一词，学生爱国无罪，政府抓人无理。除了梁漱溟之外，所有的声音都是营救被捕学生的。第二天，名流汪大燮、王宠惠和林长民就出面保释被捕学生，5月6日，北京13所专门以上的学校校长，到教育部要求释放学生，北京农会商会，则开会议决，派代表“往谒当局，请将学生释放”。紧接着，北京专门以上的14所学校学生一起罢课。与此同时，人们风传曹家的火是曹汝霖自己放的，为了“烧死学子”，甚至还有传说，曹汝霖为了掩盖罪证，烧毁秘密文件才将房子点燃的，巧妙地将学生的暴力转变成了卖国贼的暴力。还好，没有把学生痛打章宗祥，变成章宗祥痛打学生。
不过，没有过了多久，学生挨打，甚至挨打至死的故事传开了。当时有个参加游行的北大预科学生郭钦光，原患有肺结核，可能是游行过于劳累，以至于疾病发作，挨到5月7日死了。然后，就传说他是被警察打伤致死的，甚至还有人说他是被曹家佣人殴伤致死。这种说法，据罗家伦回忆，是某些人有意制造的，“当时大家怕章宗祥和我们打官司，所以定下一个策略〔这个策略之最初主动者便是狄君武〕，硬说郭钦光乃是在‘五四’那一天被曹家佣人打死的。于是郭钦光遂成为‘五四’运动中唯一烈士，受各处追悼会之无数鲜花美酒吊祭，和挽幛哀辞的追悼”。不过，到了北京学生为郭钦光开追悼会的那天，由于被捕的学生已经被释放，空气有所缓解，所以，会上发的郭钦光事略，没有说他是被打死的，只说他见学生被捕，“愤而大痛，至于呕血”，然后不治。但是各地开的追悼会，却都不约而同地说他是被殴伤致死的。即使是讹言，传出去了，大家就会信那个比较邪乎的。这个虚拟的政府或者曹家的暴力事件，无意中成了运动最好的动员利器。
最有意思的是，过了很多年之后，当事人的回忆，在台湾和海外的人，跟在大陆的有很大的不同。在外面的人对于当时学生的暴力，多不以为然，罗家伦的回忆，我已经征引过了，颇多悔不当初之意。另一位台湾著名学者毛子水说：“我当时听见许多人乱打一个人，心里颇为不平，以为这种行为不是大学生所应有的，但我也没有力量阻止，所以只得大叫呼我常在一起的同学离开打人的地方，叫不到人，我便独自回校了。”一位当时的法专学生王扶洲的回忆，强调了游行的和平性，说他们根本无意去打曹、章、陆，而且到了赵家楼曹宅之后，喊了几句口号就走了。当年的北大学生田炯锦甚至对整个的游行都感到不满，说是“游行队伍零乱，谈笑喧哗，喊口号时，常作怪叫”，令他很是反感，当时就想脱离来的。而大陆方面的回忆，则不约而同地称赞学生的暴力，在他们看来暴力只有不够的问题，没有什么过火。因此，谁先跳进曹家，打开大门，谁先动手打人，都跟辛亥革命武昌起义的第一枪一样，成为大家竞争的目标，也成了众说纷纭的一个罗生门。
当然，今天回顾当年学生的行为，在跟外国人请愿没有找到正主儿，又受了东交民巷的外国兵一肚子气之后，满腔怒火的学生肯定要找个发泄的地方。恰好，一些激进分子事先的准备，为这种发泄找到了最合适的地方，那就是赵家楼曹宅。既然大队人马到了曹宅，焉有不冲进去的道理？更何况，在场的警察根本不负责任，就算负责，估计多半也拦不住愤怒的学生，加上那时的警察既无电话，也没有汽车摩托，根本无法呼叫增援，于是悲剧就这样发生了。中国一向有纵容学生闹事的传统，不仅东汉以及北宋末年的太学生这样具有充分正当性的学生闹事，得到社会的同情，就连每年科考时节举子的胡闹，只要不太过分，从政府到民间都给予包容。在台湾的当年好汉50年之后的回忆，大概只反映了他们后来的心境，当时是不是也这样的“非暴力”，很难说。如果当时就这样清醒，为什么当时没有人站出来？包括罗家伦明明知晓有关郭钦光的“阴谋”，为什么当时什么都不说？这说明，作为运动的参加者，尽管都是大学生，每个人也非常具有文明意识，但是，在面临国家民族危亡〔至少他们自以为是这样的〕的紧急时刻，在很多人心目中，暴力绝对是一种非常可能的选项。从这样意义上讲，五四之后一部分运动积极分子转向激进，是顺理成章的。