这年，土方岁三28岁，还只是一个武州多摩郡石田村农民的三儿子。文久二年年底，他和传授他剑术的老师天然心理流近藤周助的养子——近藤勇，同门冲田总司，山南敬助，井上源三郎，其他流派的永仓新八，藤堂平助，原田左之助一起加入了幕府招募成立的浪人团。
浪人团的全体成员第一次见面是在第二年，文久三年的二月四日。
地点在小石川传通院的处静院，在这里土方第一次认识了那个男人。
土方对这个男人所有的爱憎喜怒都是从这天开始的。
这次幕府征募的浪人共有二百三十四人。
组织队伍的后台清川八郎，一开始给队伍起名叫浪人队，不久就改名新征组。表面上这支队伍的任务是保护驻节京都的将军。但据说这支队伍的另有一个隐秘的任务，就是镇压正在京都飞扬跋扈的“尊王攘夷”浪人。传说幕府已经出了赏格，最高可以赏赐这些浪人们一个旗本（幕府直系军官）的职位。这个消息一传出，江户内的剑客、豪侠都争着加入这支队伍，其中包括有前科的博徒（赌徒）、只认钱不认人的用心棒（保镖）。
处静院这次会面，正赶上个大冷天。大家都聚在一个大的叠（草席）间，中央坐着浪人奉行鹈殿鸠翁，浪人取缔役山岗铁太郎。
负责招待这帮亡命徒的主人是山岗的朋友——羽州浪人清川八郎，主持会议的是清川的心腹彦根浪人石坂周造，艺州浪人池田德太郎。
鹈殿的训话结束，两人给大家分发了安家费，然后大排酒宴，开席吃饭。
这时清川八郎开始分桌敬酒，他的话不多：“大家慢用，谈得开心点。”
跟在他后面的石坂和池田两个人，站在一边。等清川回到座位，才开始每桌敬酒，语气也非常客气：“我们过去都是陌路之人，以后要一块办大事，趁着这个机会大家要敞开心扉，好好谈谈自己的抱负。”
可是浪人们都显得爱理不理的，这倒不是因为他们是“闷罐子”。该听的都听了、该拿的也拿了、美酒佳肴摆在面前，谁都很开心。可要这帮人和初次见面的人，立刻称兄道弟实在是太困难了。
自然而然的，一块入队的几个人就集结在了一起。浪人团的派系之分，就从这天开始成立了。近藤看着周围乱糟糟的状况，起身招呼围在他周围的七个人，用手一指东面阴暗的角落：“（我们）到那里去。”
作为头目的近藤本来就是个少言寡语的人，跟着他的人几乎都滴酒不沾，所以谈话的气氛异常沉闷。除此之外，这帮人在江户可以说是岌岌无名，没有人和他们打招呼。周围的人谁都不会想到这八个人，就是今后赫赫有名新选组的核心成员。
和他们成正反对比的是另外一个小集团，这五六个人拿着酒菜坐在屋檐下，旁若无人一般谈笑风生。为首是个大眼的肥汉，他正在开怀大笑，可笑声尖利暗含着杀气。推杯换盏之间，这人的眼睛如同其他生物一般，冷冷地环视周围，一看就是个异人。
“那是谁啊？”土方岁三悄悄地问旁边的冲田，冲田和近藤一样得到了天然理心流剑术免许皆传（代理老师）的特许（毕业证书），年纪轻轻的他，剑术水平早已经超过了近藤、土方很多。可是令人不可思议的是他有一脸稚气，为人也是相当明朗。
现在也是这样，他笑嘻嘻地回答：“到底是谁哪？我猜是水户藩的人。”
“你怎么知道？”
“那个人的口音太重了，他的吐沫星都快飞到这里了。”
土方沉默了一会儿，又向旁边的近藤提出了同样的问题，近藤回答也差不多，但是他补充说：“那个人大概是芹泽鸭吧？”
“是他？”土方又仔细看了看那个大汉。
土方知道芹泽是个天下闻名的剑客，使得一手神道无念流的剑法，在常州的潮来馆一带聚集的水户攘夷浪人“天狗党”内有些名号。后来“天狗党”遭到了幕府的镇压，芹泽鸭虽然侥幸逃出，但还是不改杀人如麻的习惯。
“那就是芹泽？”
“对，应该是的，但是，土方君”近藤拉了拉近藤的袖子，“还是不看为妙。”
土方无言地点点头，将头转了过来。
一旁的原田左之助嘴里嚼着烤鱼，充满遐想地说道：“这个烤鱼，真香。”
原田的老家在伊予松山，那里的鱼儿鲜美天下闻名的。