没过几天，国枝就被安排到近藤身边当了一名警卫，平时跟着近藤熟悉队里的事务，到了战时他就是近藤直接指挥的近卫军。
在这个位置上他和干部接触的机会自然多了起来。
他经常看见那位一团和气的老人，毕恭毕敬，弯着腰来到近藤的办公室汇报工作，时不时还会称近藤为“老师”。近藤对这位老人的态度和别人也不一样，总显得有些小心翼翼地，时不时在谈话中聊些家乡的事。但细研究之下也不过是“井上师兄，我很想念家乡的纳豆。”这类话而已。
队伍里都害怕副组长土方岁三，背后都说他就是《韩非子》里提到的酷吏。但这位不苟言笑的土方对井上的态度也是和蔼可亲。
国枝想：“这个老头肯定有什么势力吧？”
可仔细观察没多久，国枝又否定了自己的想法。
近藤和土方对井上如此尊敬，但是井上并没有显得趾高气扬，和队里的派系斗争一概无关。
此人平时沉默寡言，为人行事可以说是飘然，但是又不是那种道骨仙风，倒是更像在家做老封君的退休老人。
“这人真有意思。”国枝这么想。
有时国枝和井上在走廊里遇见，国枝低头对井上致敬，井上总会伸伸懒腰：“哦，是你啊。”他似乎想起了黑书院事，隔了半天，说了下半句“是不是你问过我是什么宗旨（门派）的？”
国枝答道：“对不起，那个时候我只是想问问您剑术的门派，可是我不知道您是井上先生，对您失礼了。”
“是这样吗？”井上微微一笑，飘然而去。
看着他的背影，国枝心想：“真是个怪人。”
新选组一共有十支部队，各队的指挥官都是由冲田总司，原田左之助，藤堂平助，永仓新八，斋藤一等等高手担任的。唯独六支队是由井上这个平凡的老人担任的，国枝想到这里总有些莫名其妙，更对他产生了好奇。
局长付福泽圭之助（后来升任为伍长）原本是常州乡士的二儿子，也和国枝一样曾经做过近藤的护卫。
有次两人聊天聊到了井上，为人伶俐，消息灵通的福泽知道的可比国枝多。
新选组从组织上来说地域性很强，最初拉起这个队伍的人大部分都是武州南部，多摩地区盛行的天然心理流剑术门徒。近藤亲自主持过一家剑术道场，土方、冲田都是这个道场出身。
“近藤先生算起来是天然心理流的第四代掌门人。”
第三代掌门人近藤周助，在近藤勇十六岁时，看中了他的身手，收他做了养子。到了二十五岁时，就将整个门派交个了近藤勇掌管。
在继承仪式上，进行了一场很风光的野外比武，地点就选在府中的明神神社的东面的广场上。比武的双方分为红、白两队，红队的主帅是御岳堂虬，白队的主帅是土方的盟兄佐藤彦五郎。
近藤担任比武总裁判，他把各支部队分为旗本、军师、军奉行、军目付等职务。
比武出动了整个门派近一百个门徒。
当时土方只有二十四岁，在红队里担任旗本。冲田这年十五岁，在近藤的身边负责击鼓。
井上老头，这天负责在近藤身边打锣。
“什么？打锣！”
打锣倒是没什么稀奇，让国枝吃惊的事，打锣原本是个安排闲散人员干的职务。笔者向大家解释一下，新选组比武是以冲田击鼓开始，众人听到井上的锣声结束。井上只是个报信的人而已，他甚至连参加比武的机会都没有。
“可是。”福泽话锋一转。“最近我和近藤先生去了一次江户，顺道去牛入二十骑町的周斋老爷家里去拜访，正巧看见了一本弘化年间的门徒名册，上面写着井上源三郎和他哥哥井上松五郎一俊的名字。我掐指一算，当时近藤先生只有十一岁，土方先生只有十岁，他们还没有入门，冲田先生那就更别提了，估计还没养出来哪！”
经福泽这么一解释，国枝想：“原来井上是近藤，土方，冲田的大师兄。说不定，三个人的剑术还是井上手把手教出来的哪！”
但是这位大师兄入门多年，武艺却鲜有长进。眼看着自己的师弟，近藤当了掌门人，土方做了师范代，剑术天才冲田总司十几岁就有了免许皆传，但井上直到四十岁时，名字都没有上正式的名册。
但井上并没有放弃剑术，只是在道场默默地努力。
近藤被幕府征召时，从情理上来说自然不能放弃这位老学长。
“井上师兄，您怎么想？”
井上本来想拒绝，但最后还是答应了，默默跟着近藤一行人，前往京都。他就是这么个老实人。
新选组成立之后，近藤和土方把井上升为助勤，后来队伍进行整编时，又把他安排成六支队的队长。井上知道这是近藤和土方两位师弟，对师兄尽义务，为了报答他们，他也干得格外卖力。
井上也参加了元治元年六月的池田屋事件，至于他在事件中的表现，只能用“平常”来形容。因为事件之后，在近藤写给养父周斋的信里，浓墨重笔地描写了土方、冲田、藤堂的战斗表现，但通篇对井上却只字未提。
井上和国枝真正开始交往，是从庆应元年七月间开始的。
七月的某天，国枝接受近藤的命令，被分配到了井上所属的六支队。
井上一看见国枝，如同见到久违的老友一般，开口就说：“你知道，我们这支队伍是干什么的吗？”
这话当时国枝不懂，过了一段时间，观察周围才明白井上的话的意思。新选组的一流剑客，都被派到一、二、三、八、十支队。六支队的队员只能算是二流的剑客，每天去固定的地域巡逻，其他队伍出去出生入死时，他们看家。不当班时，所有队员就在屯营里苦练剑术。说白了他们就是新选组的预备队。
到了昭和初年，子母宽泽采访硕果仅存的新选组队员八木为三郎时。八木提到井上时，提起了一件趣事。
（前略）当时冲田总是带着附近的孩子，和我们这些半大孩子捉迷藏。我们经常在壬生寺里到处乱蹿，有时迎头碰上井上，冲田总是半开玩笑的问：“井上师兄，你又去练武啦？”
这位年近不惑，少言寡言的老好人，居然板起脸，没好气的说：“知道了还问！你悄悄的来不就得了！”
新选组规定，冲田、永仓、池田小太郎、田中寅雄、新井忠雄、吉村贯一郎、斋藤一这些高手，负责所有队员的剑术训练。但是，眼见的队伍日渐忙碌，这些人也难得对大家进行剑术指导。这项任务后来便分配给了井上，不当班时，他就经常去剑术道场指导大家。近藤也再三提到：“（我）信得过的人，只有他（井上）了。”
井上这个平凡的老头，更适合在农闲时，呆在家里编绳子过活。不过，剑术和编绳子根本不是一回事。自从井上当上这个教头之后，就吃尽了苦头，经常在练习中被年轻的队员打得落花流水，有时甚至笼手被打掉，手中的剑也会被崩出很远。每逢遇到这种令人狼狈的场面时，井上嘴里就会发出：“嚯，嚯”的怪声，这种声音既时对自己失败的惋惜，也是感叹对方的武艺高过他很多。
不过这非但不会让大家轻视井上，反而使大家更喜欢这个性格平和的老头。
土方非常担心井上这种教育方式，他的担心不无道理。从组织上来说，一位指挥官，三天两头被年轻的部下给打败，会对今后办事指挥，造成障碍的。
他屡次向井上提起：“井上师兄，不当班的时候您没必要三天两头往道场跑，我怕累坏了您，让我这个做师弟的担待不起。”
井上非但没有理解土方的心意，反而回答：“哈哈，阿岁，过去我也不是长年累月住在道场，这也算是我的工作啊！”
国枝自从来到六支队就没有和井上交过手，他很怕万一自己和井上交手时，打败了了井上怎么办？国枝的身手一般，他学得是日本中部非常流行的利方得心流居合，另外他还学得中西派一刀流也只晋级到第四级别，这两门武功学得都只能算得了些皮毛，实在是上不了台面。
不过看着井上笨拙的身手，国枝就知道他那两下，跟井上有得一拼。
时间一长，井上还给国枝起了个略带揶揄的绰号——“宗旨”。
井上有时会对国枝说：“我最近忙得很，没空指导你的剑术，有机会肯定要教导教导你。”
“请您多关照。”国枝虽然口头这么答应，但总是借机躲着井上。不过老好人井上还是一点没有放弃的打算。井上不是个有能力的指挥者，但是也正因此他在队员间的口碑很好，国枝有时甚至想，为了保护这个好老头，即使牺牲自己他也会在所不惜。
其实只要稍懂剑术的人就知道，井上的弱点在脚法上。
他进攻时，左足朝前一迈，两腿间就露了破绽。别说千叶地区的天然心理流，国枝学的中西派一刀流也忌讳这种坏习惯，并称之为“撞木足”。因为脚步间隔大了，就无法进退自由，灵活进攻了。
话说这天，前来道场练习的人格外的少。穿戴整齐的井上无聊的坐着发呆。
说来也巧，国枝这天正好来道场了，一进门就知道大事不好，想抽身已经来不及了。可是井上却笑咪咪地站了起来，“宗旨，来，我们来比一比！”
“是。”
国枝无可奈何地穿戴上了防具，他不会知道，正是因为这场毫无轻重的比武，日后会惹出那么多是非。
井上一上来就朝着井上脸部攻击，国枝躲避不急，被一击而中。
“井上可不是个饭桶！”国枝想到这里，反而更开心了，可惜一想到这里，脚法就发花了，身体上又被打中了。
井上攻击时显得如醉如痴，国枝本以为井上比划两下就结束了，没想到，井上的攻击还是不断袭来。他显得非常老练，虽然看上去不灵活，比起国枝来，他动作简介干净，但是井上到底上了年纪，国枝虽然被他集中了多次，但是随着次数增多，力量也越来越弱。不过井上好像不肯放过这个难得的机会，从面具中发出执拗的声音：“没够，没够！”
国枝长时间被井上压着殴打，但井上还是不肯放手，刚才心中那份欣喜，渐渐变成了愠怒。
他终于开始发起攻击了，根本不管井上的招数了，朝着井上冲击。不知是怎么的，他打得很顺，不过，国枝因为刚才的攻击早已筋疲力尽了，他现在说是剑法，还不如说是将手中剑乱舞一气。不过井上也不知怎么的，被这种毫无章法的剑法几次打中了脸，身体，喉咙上还被捅中了两，三下。
这时从窗外传来皮里阳秋的倒好声：“好身手！”据说，接下来的话更难听，不过两位当事人都没听见。
好不容易比赛结束了，井上回到宿舍里，就听见大家聚在一块谈论着说：“刚才那两个人胆子真大！”
原来戒备森严的本愿寺居然闯进了两个来路不明的武士，两人在寺内转了一圈，高声笑笑道：“新选组就这么点德性了！”
队员们想拦住他们，可惜两人头也不回朝着阿弥陀堂绝尘而去。
大家都以为是队里的客人，就没有深究。后来向门卫一打听，才知道今天，本愿寺没走进过外人。
监察部听到“屯营内有不明身份的人侵入！”这个消息感到非常吃惊，更让他们觉得没面子的事情是这帮人大声嘲笑了新选组的剑术，这事就越发不可收拾了。
两个入侵者说的是肥后的方言。
其中一个高个子穿着有三星家纹的男人，右颊有三寸长的刀疤。另外一个二十四，五的男人长相非常普通，但是衣服上的家纹非常有特色，是两把交叉的斧头。
类似这类事情在新选组最初驻扎壬生时，曾经发生过一次。但是自从新选组用武力镇压京都之后，壬生附近半里地就几乎看不到一个武士了。
土方对这个消息非常在意，因为这让新选组的颜面尽失。虽然新选组只是暂借本愿寺作为屯营，但是两个外人走进这里，揶揄了新选组队员一番，又毫发无损地走了出去，这如同自己的城堡被敌人侦察一番之后，敌人又毫发无伤的逃离一般，让当事者汗颜。
他立即下监察部把事件给调查清楚，说完他不经意地问了一句：“两个人闯进来时，谁在道场里练武？”
负责事件调查盛冈藩出身的吉村贯一郎，武艺刚强，为人正直。
不过这次他略带微笑，语带揶揄地说：“井上先生和国枝大二郎。”
土方立即沉默无语了。
吉村立即知道自己说错话了，他知道井上和面前的土方，还有顶头上司近藤既是情深义厚的同门，又是荣辱与共的同乡，他对着土方开井上的玩笑，实在是太不识时务了。
他立刻话锋一转：“那两个人是嘲笑国枝的剑术太差了。”
土方斜睨了吉村一眼，眼神里充满着鄙夷。“嗯，辛苦你了！”
等吉村一走出房间，土方立即直奔井上的房间，可惜房间里只剩下了同屋的冲田。
“总司，井上师兄哪里去了？”
“到后面的井口去了吧？”
这时天色已经黑了下来，土方提着灯笼来到了后院。
果然井口附近摆着灯笼，井上借着微弱的烛光正在洗衣服。
“新选组六支队队长就他妈只会干这事！”土方想到这里，脸色立即变阴沉了。话也很不客气：“井上师兄，这事你就交给队里的侍卫干好了。”
井上抬起晒得黝黑的脸，说道：“土方师弟，还是我自己洗得干净。”
土方知道井上有些洁癖，并且他洗衣服很拿手。他和井上在江户小日向町剑术道场时，两个人经常在一个水井洗衣服。
“不过您这么晚了还在洗衣服，怎么给队员做榜样！”
“有这么严重吗？”井上点点头，他想：“我也不要固执己见了，阿岁说的话也有几分道理。”
“对了，井上师兄，那件事（武士嘲笑新选组）你知道了吗？”
“啊，这个……对不起我给你们添麻烦了！”井上显得有些不知所措。
“混蛋！”土方对这个老好人师兄实在是又恨又爱，哭笑不得。
他压住了自己的火气，“井上师兄您没错，不过我们可不能放过那两个浪人。我已经派人到市内各处侦查这两个人的行踪，找到了我会告诉您，让您和国枝亲自去处理那两个人。您需要多少人手，尽管跟我说，我一定会照数派人。”
“这是我的工作。”井上脸上的表情如同这份工作必须是他干的，他毅然决然地点了点头。
“他就这么点德行！”
土方和井上认识不是一天了，他和井上的交流总是有些障碍。他这番话的意思其实是给井上一个报仇雪耻的机会，但是井上只认为是土方交给他一项新的任务。
土方显然习惯了，除了无可奈何，他又能做什么那？