郁达夫第一次去妓院，受了龟儿鸨母的一阵欢迎后，郁达夫便选定了一个肥白高壮的花魁妓女。这一晚，他直坐到深夜，且歌且饮之后，便把童贞破了。第二天中午醒来，在锦被里伸手触着了那一个温软的肉体，便迷迷糊糊地想起了昨夜的痴乱的狂态，顿时觉得像在大热天里，当头被泼上了一身凉水。他情不自禁地流下了两行热泪，狠狠地自责说：“太不值得了！太不值得了！我的理想，我的远志，我的对国家所抱负的热情，现在还有些什么？还有些什么呢？”他的这种巨大的精神痛苦，充满尖锐的灵与肉、道德律令与本能欲望的激烈冲突，时刻都在折磨、压抑着他，表现在作品《雪夜》中。
郁达夫对于自己之所以沉迷于酒色生活的情由，曾这样说过：“人生终究是悲苦的结晶，我不信世界上有快乐的两字。人家都骂我是颓废派，是享乐主义者，然而他们哪里知道我何以要去追求酒色的原因呢？唉唉，清夜酒醒，看看我胸前睡着的被金钱买来的肉体，我的哀愁，我的悲叹，比自称道德家的人，还要沉痛数倍。我岂是甘心堕落者！我岂是无灵魂的人？不过看透了人生的命运，不得不如此自遣耳。”
郁达夫苦闷的时候，经常会骂孙荃。孙荃从来不还口，任郁达夫骂去，她总是一边擦着眼泪，一边拖着日益膨胀的肚子到厨下给郁达夫烧饭做菜；或者是默默地躺在床角里暗自流泪。而郁达夫每当骂了妻子后，把胸中的悲愤发泄完了，却又往往会痛加责备自己：“啊啊！我在社会上虽是一个懦弱的受难者，在家庭内却是一个凶恶的暴君哪！”在责备自己后，郁达夫还常常对孙荃加以抚爱一番。
当孙荃生下他们的第一个男孩龙儿后，郁达夫在高兴之余，更多的是忧虑，耽心日后会有更多的苦吃。因而，他又向孙荃大骂起来：“你和小孩是我的脚镣，我大约要为你们的缘故沉水而死的！”
郁达夫的龙儿夭折后，孙荃含着眼泪将龙儿患病前后的事情，一一讲给了郁达夫听。孙荃对郁达夫说，龙儿生病之前的一天午后，在门前玩耍，看见一乘马车，马车里坐着一个戴灰白色帽子的青年，就以为是郁达夫回来了，因为龙儿记得爸爸去年离京时所戴的，是顶白灰呢帽。当马车开走后，龙儿仍然哭喊着：“爸爸为什么不回家来吓？爸爸怎么不回家来吓？”不管孙荃怎样慰说，他还不停地哭着。
孙荃还告诉郁达夫，龙儿患上脑膜炎之后，经常问她：“爸爸几时回来？”“爸爸在上海为我定做的小皮鞋，已经做好了没有？”尤其是将死的前五天，他连续叫了几声爸爸。
当郁达夫听了这些后，感到十分痛苦和愧疚。认为自己“实在不该抛弃了他们，一个人在外面流荡，致使他那个小小的心灵，常有这望远思亲的伤痛。”
郁达夫和王映霞热恋后，内心也时常泛起对孙荃和孩子的忏悔，如他在1927年2月7日的日记就记到：“我也该觉悟了，是resignation确定的时候了，可怜我的荃君，可怜我的龙儿熊儿，这一个月来，竟没有上过我的心，啊啊，到头来，终究只好回到自家的破烂的老巢里去。这时候荃君若在上海，我想跑过去寻她出来，紧紧地抱着了痛哭一阵。我要向她confess，我要求她饶赦，我要她能够接受我这一刻时候的纯洁的真情。”
1927年3月26日，郁达夫在日记中写道：“我一边抱拥着映霞，在享受完美的恋爱的甜味，一边却在想北京的女人，呻吟于产褥上的光景。啊啊，人生的悲剧，恐怕将由我一人独演了。”与王映霞结婚之后，郁达夫每月还给孙荃寄生活费50元，表现出对孙荃生活认真负责的态度。