新选组屯营的队员宿社，靠东墙有根木柱。柱子后面不远就是干部的房间，再往里走就是近藤，土方的起居住所。普通队员阿部十郎从来没有光临过柱子的背后那些房间，对他来说近藤和土方是遥不可及的天人。（在新选组驻扎壬生村时，那的房子又窄又小，大家睡觉时都市摩肩接踵，上下打成一片，和现在完全不一样了。
细究起来，上下关系的疏远和眼前的这座建筑多少有些关系。花昌町屯营是按照藩王府邸规格进行设计及建造的，外观极尽奢华是为了造成权威状态，压制京都的老百姓。内部结构按照等级分割，由上至下层次分明，此时近藤和土方对普通队员来说已是遥远的存在。
阿部十郎自从壬生屯营时期，就和近藤土方没什么交往，也没有打小报告的机会。
他作为队里火炮的负责人和会津番常来常往，会津番主管火炮的林权助曾经和他透露了自己对新选组某人的不满。
那是他听说了大林在巨椋池试射大炮之后，林权助对这个新发明很感兴趣。可是阿部将试射详细情况，如火药配方，射程增大的现象向林权助报告之后。林权助一脸的扫兴。
“也是个棒槌！”
林权助说多加火药，射程肯定会加大。
“不过这是拔苗助长的做法，照这个配方发射下去，炮管总有一天要破裂的。”
当时的炮管都是使用铜八成，锡二成混合的青铜炮管，青铜看上去好看，可并不坚实。调配大炮发射药时一定要根据炮管的材质，酌情加减。
“这小子运气不错，到现在都没出现炸膛的事故。”林权助摇头叹道。
“这个，这个叫大林什么，的炮术专家，我怎么没听说过？对了，新选组召集的都是四方的豪侠剑客，有些人难免会用假名。他的师承是谁，您总该知道吧？”
“非常遗憾，这我还真不知道。不过据山崎监察说，安野均是他的老师。”
“啊，”林权助比起阿部就知道多了，“水户乡士安野均原本是位剑客，他也是半路出家后学操炮。”
安野的剑术和大林一样，门派上属于神道无念流。虽然是同一门派，但是师承不同，安野的老师是斋藤弥九郎。
现在斋藤弥九郎早已隐居，改名为笃信实。他主持的神道无念流道场在江户赫赫有名，位列鼎甲，门下遍布全国各地。
斋藤不单是个剑客，对时代的变化也异常敏感。他受了洋学家江川太郎入门之后，作为老师的斋藤对江川研究的火炮技术发生了兴趣，反而折节下交，拜江川为师学习火炮技术。斋藤不但自己学，而且号召自己的学生一块学。安野就是响应号召学生中的其中之一。
不过，这位安野数年前就驾鹤西去了。
“原来如此。”
言者无心，听者有意。阿部一会新选组，就把这事汇报给了监察山崎听。
山崎立即把这事报告给了土方。
“这小子，不会和长州有一腿吧？”
土方说这话不是无中生有，由于斋藤崇尚革新的风气，有很多常州过激的藩士投到了他的门下。当时以高杉晋作，品川弥二郎，山尾庸三都是斋藤的高足，桂小五郎甚至当过斋藤道场的塾头。
“不过。”山崎又说。
“大林的剑术和斋藤是同一门派，不过他的师傅是他的亲哥哥山泽忠兵卫，他和斋藤那一个派别没有半点关系。他只是和斋藤的弟子安野学过火炮，硬说他们有关系，多少有些捕风捉影。”
“好了，我知道了。”
土方也认为大林不像是奸细。
“此人就是好大喜功，爱吹个牛。”
大林的剑术水平可比不上他那张三寸不烂之舌，不过大林的剑术水平之差，土方也是最近才知道。
大林很少去新选组的剑术道场练习，有天他鬼使神差般地来到剑术道场，和普通队员练习击剑，很不巧，土方正好在场。
土方一眼就看出大林的脚法完全没有章法，根本不像他自己吹得那样，“我的剑术是经过千锤百炼的！”。
不久之后，土方遇见永仓时，略带揶揄地说“永仓君，大林的那点本事教你，对你这个剑客来说，可真是屈才啊！”
“额？他还行吧。”永仓可没看见道场里大林的狼狈像。
“怎么你还要为他辩护？”
“不是，他呀，就会扯着虎皮当大旗，屁用也没有。”
“你嘴巴可真毒啊！”土方笑得上气不接下气。
“说实话，他那两下子，和阿部十郎差不多。”
“你是说操炮的阿部？”
“恩。”
让两个操纵大炮的人比试剑术，这在土方看来，实在太有意思了。
翌日，他命令大林和阿部到剑术道场集合。
负责裁判的是三支队的队长，冲田，列席的还有永仓新八，新选组剑术总教头斋藤一。
阿部十郎也会使剑，他的“铁人十手流”的家传剑术，大家从来没听说过。阿部本人对竹刀练习也不太熟悉，不过他对大林的不满已经积蓄了很久，正向借着这个机会发泄一下。他想：“虽然耍枪弄棒不是我的长项，但我也要试一试，只要我猛追猛打，就能弥补我技术上的缺失。”
可拿起竹刀，和大林面对面一看，他才发现大林不知怎么的变得杀气腾腾了。
这么一分神不要紧，阿部立即在气势上输了大林一成。也就是他这一发愣，大林的竹刀毫不留情地砸到了他的头盔上。
阿部喉咙发腥，眼冒金星，手脚都不听使唤了，他被砸晕了。
“面”坐在裁判席上的斋藤举手喊道。
“妈的，臭狗屎！”
可是阿部心头的怒火再旺，可就是抵挡不住大林手中竹刀的攻势，毫无办法。
所有的一切都在按工余心计的大林计划在进行着，剑术是两个人的实力角逐，某一方气势上输了对手一筹，就毫无反击之力了。
“笼手，笼手。”大林高声喊道。
阿部隔着面具都能感觉到大林的狞笑，果然，大林手中的竹剑不偏不倚正中阿部的笼手（护手）上。
“我这是怎么啦？”
阿部觉得全身上下僵直，冷汗森森。
“喂，看着啊！面，面！”
大林的竹刀在空中飞舞，阿部却无法移动自己的手脚。
大林又击中了阿部的膝盖。
“下面就是胴啦！”
大林的剑术和他的为人一样，见着便宜就占，而且便宜占得越多，他越是得意洋洋，越战越勇。相比之下阿部就太惨了。本来就是他不擅长的竹刀，比赛从一开始就被大林控制着。
“操！”
大林虽然怒火满腔，但是气势还是无法复原。虽然他的斗志不减，但是他的手脚并不听话。因为他越生气，全身的气力越往肩上集中，结果反而让他手脚不能充分发挥应有的功能了。
大林依然闲庭信步一般，将刀高高举过了头。
说是迟，那时快，只见竹刀不偏不倚砍在阿部的右胸上。
阿部被打得差点没背过气，可是斋藤刚要举手宣布阿部的失败时，阿部扔掉了竹刀，发了疯一般冲向大林，想和大林进行扭打。可大林用竹刀点了点阿部的右肩，脚一偏，给阿部使了个老鼠盘根。
阿部摔了一个漂漂亮亮的狗吃屎，可他一个鲤鱼打挺又站了起来。
他对着大林大声喊道：“大林，有本事咱们在大炮上比试比试。”
话音刚落，周围响起一片哄笑声。哄笑的含义非常清楚，这是讥讽阿部作为一个操炮技师，比武输后的言行也像个操炮的。这没有恶意的嘲笑改变了阿部十郎的命运。他知道这种嘲笑并不代表兵库一个人，而是代表了整个新选组的权威，也就是说嘲笑阿部他的是整个新选组。
“我要脱离这个组织。”阿部心想。
时机很巧。
参谋伊东甲子太郎原本非常推崇尊王攘夷论，他公开表示要离开新选组。参加他这一派的人，有伊东江户时期起的门人，同志，志同道合的朋友，以及对新选组前途感到不安的队员等等。
阿部十郎离开新选组的动机，不属于上述任何一种。
他向伊东的盟友筱原泰之助恳求“把我带上，离开这里吧！”
“好！”
久留米人筱原对别人的请求一向是先做结论，再问理由。阿部什么都没说，只是一再强调“我在这受够了。”
阿部的加入让筱原非常高兴，阿部不管怎么说也是个技术人材，他的操炮技术总会派上用处的。
庆应三年，伊东离开了新选组，他先来到五条桥东面的长圆寺。后来经过伊东的奔走，萨摩藩的斡旋，他带着自己同志，来到东台山山麓内的高台寺山内真院驻屯，对外自称是御陵卫士。
阿部在这段时间里，据说在萨摩藩藩邸里学习英语。