没过几天，小白菜便让葛品连四处打听租房。不久便租下了杨家的房子。杨家每月房金只收一吊大钱，把杨家右边的三间房屋带一个小院，租给葛家居住。葛水连以为杨乃武是有妻子的人，不甚妨碍，所以放心在此安下家来。因在豆腐店作事辛苦，又只有母亲葛喻氏帮忙，所以仍是经常在豆腐店内留宿，很少回家。倒成全了杨乃武与小白菜。每趁葛水连不在的时候，杨乃武就借着教小白菜读书写字的由头，悄悄幽会。
这样一直到了第二年。世上没有不透风的墙，渐渐便起了传言。说杨家是“羊（杨）吃白菜”。这话传到了葛品连耳里，他心中便生了疑心。
光阴迅速，匆匆又是几个月过去了。这天已在四月中旬，天气渐渐的热将起来，葛品连晚上睡在家中，早晨临走的时候告诉小白菜，这几日他要去四乡收购黄豆，便不能回家来了。小白菜正因杨乃武连日有事，到了杭州府去了好些日子，昨天方才回来，也有半月光景没有相会了。听得葛品连晚上不回家，心中很是欢喜。俟他去后，即借着到杨家找詹氏说话，却暗暗通知了杨乃武。到了这日晚间，杨乃武悄悄的来到葛家院中，同小白菜幽会。
小白菜穿了一件青布大褂。下系湖色土布半旧撒脚裤，脚上一双妃色软帮绣苹绿色的满对花小鞋，端的是三寸不到，二寸有余，平正尖瘦，宛如一支水红菱儿。虽是满身荆布，却越显出天然素面，貌美逾花。
小白菜见了杨乃武已是满面春情，眼角流俏，两颊边飞起了红露，轻轻的格格娇笑，杨乃武看了怦怦心动，忍不住将她拥住，推倒在床上，云雨起来。小白菜只斜昵着一对水汪汪的秋水，微微娇喘，越发把杨乃武逗得欲仙欲死，约有半个时辰，小白菜哟的几声，在枕边滚了几滚，已是双目紧闭四肢松驰，杨乃武也不禁连喘带吁，把小白菜抱得贴紧。停了一回，杨乃武方长长的吁了一声，一瞧小白菜，也醒了回来，向着杨乃武微微一笑。这时的天时，虽在四月中，夜间尚很有凉意。小白菜忙将床上绵被扯过，盖在杨乃武身上。二人紧紧拥在一起，细诉衷肠。
二人正在说话，猛然间听到外面有人打门，叫道：“秀姑，秀姑，快开门。”小白菜听是葛品连的声音，不由的花容失色，转头看杨乃武。杨乃武也听的心中慌忙，稍稍镇定一下，轻声道：“别忙，待我回去，你装着方醒的神色，再去开门。葛品连瞧不见我同你睡在一处，自然他不敢说出什么话来。”说着便匆匆起身，穿好衣服，跳窗翻墙而去。小白菜也把衣服穿好方装着初醒般的含糊答应了一声，手里拿着红烛，慢慢的出了房间，走去院外开门。葛品连一眼瞧见小白菜，见她两腮飞霞，带着十分春色，又好似有些慌张，便有些奇怪。等走到自己房中，瞧见一条棉被堆在床中，凌乱不堪。葛品连心道：小白菜的床平时甚是齐整，今天棉被为何如此凌乱？瞧这式样，分明是还有一个人睡过一般，又见小白菜面上越发的飞起了两朵红云，直满到耳边，猛然想起“羊（杨）吃白菜”的传言。不由得心中一动，伸手将棉被一翻，竟跌出一块手帕来，帕上又印着些水渍，约有手掌般大小。手帕上绣着喜鹊登梅，正是杨乃武的东西。
葛水连看的满面通红，心头火发，一把揪住小白菜问道：“这是什么东西？”
小白菜见了心如小鹿一般，怔了一下，急中生智道：“白日里杨先生来这里教我念书识字，想是那时候丢下的。”
“你们妇道人家念什么书？你娘儿们家和一个大男人独处一室，又成什么体统？怪不得外面都传你与杨乃武有染？原来真的是一顶绿头巾，戴在我头上了。”说罢劈头一巴掌打过去，打的小白菜顿时眼冒金星。
小白菜本就觉的自己匹配了这个又丑又穷，不解风情，猥琐不堪的葛品连，是十分的委屈，百分的牵强。平时又被葛品连宠惯了。挨了这一巴掌，立刻就哭喊起来嚷道：“你说我们有私情，可曾瞧见我同他睡在一处？我嫁到你家门时，可是带着清清白白的身子，你难道不知？如今却仅凭着一只手帕便要污我名声。这日子也没法再过了，我今夜便剪了头发，做尼姑去吧。”
二人吵闹的厉害，惊动了杨乃武的妻子杨詹氏。杨乃武为了和小白菜幽会，常常借口深夜读书太晚要在书房歇息。所以杨詹氏并不知道二人的事。听到这边小两口吵架，急忙带了人来劝。
捉贼拿脏，捉奸在床。葛品连没有证据，又害怕杨乃武的势力，当着杨詹氏不敢实说，只说是自己让小白菜腌菜，晚上回家的时候看到还没有腌，所以将小白菜痛打一顿出出气。杨詹氏不知就里，还耐心劝解，小白菜与葛品连只好点头，答应和好如初。
葛品连虽然不敢与杨乃武翻脸，但却无法咽下这口窝囊气。回去便与母亲葛喻氏说了。葛喻氏平时就爱东家长西家短的传话，听葛品连一说，便将这件事频频和左邻右舍谈起，一时间巷闾遍传，流言四起。小白菜小户人家，倒没有什么，那边杨乃武听说了，却十分的不受用。
杨乃武本是个极重名节的人，平日看到地方上不平之事，总是好管多说，伸张正义。在整个余杭县都是名声不错的。只因与小白菜有情人难成眷属，情不自持，才做下这样的事。没想到却被传开来，将自己与小白菜称作奸夫淫妇。
虽然仅是风言风语，并未有真凭实据。但杨乃武也觉的廉耻丧尽，万人所指，出门办事都抬不起头来。为了名节与前程，竟断绝了与小白菜交好的心，再不敢与她有来往。
过了几天，葛品连在外边看好了房子，便向杨乃武退了租，选了日子搬出杨家。迁入新屋。杨乃武作贼心虚，没说别的话，一口应允。