依靠王明，康生才得以使自己身处中国共产党的菁英名流之中。但是他晋升为秘密机构的领导人——一个已变成与康生的名字同义的角色——与其说是因为他在利用王明的庇护时所玩弄的技巧，不如说是因为共产党在反抗国民党的战争中随着失败而来的危险。可以这么说，康生的擢升归功于每一位资深的党的领导人，而不是幸运；促使他从地下党的组织者转变为特务和暗杀者的是时运。
在一九二七年四月清洗共产党的决定性胜利之后，国民党渐渐加紧了对中国大部分城市的控制。在上海、南京、北京、天津、汉口，广州和许多较小的城市里，国民党控制了政府机构，并动用警察、军阀和特务机构来同共产党作战。一场消耗战接踵而来，国民党通常占有优势。即使在人种混杂的上海，政治上、外交上和法律上的各种漏洞对各种秘密组织都很有利，但中国共产党长期幸存的可能性看来似乎很微小。
但是共产党并不是轻易就被击垮的对象；被不共戴天的敌人所包围，他们学会了如何使自己藏身于上海的喧嚣混乱之中。上海市警察局特科档案卷宗描绘了康生和他的同志们栖居的黑暗世界的戏剧性画面。中国共产党渐渐形成了一个无穷尽的基层组织网络，它们被划分成非常独立酌部分，以确保任何个人的被捕，都不会向警察提供更多的情报。共产党发明了一种复杂的控制规则，其中多数是模仿苏联人的：干部在街上不准谈论政治；开会人数不得超过五人，时间不得超过三小时；会议地点不准一星期使用三次以上；任何时候在任何党的“机关”，到场人数不得超过七个人；如果一位同志被捕了，同他有联系的每一个人都应该立即转移（这个规定说明了为什么警察偶尔突然搜查备有家具的公寓，而里面的房客却消失了）。共产党还掌握了显影墨水的技术，将秘密情报写在那些看来好像是每天来往于朋友或情人间的信函里。
当共产党变得更难以捉摸时，国民党建立了一个专门的安全防卫或者“特务”组织，独立运作于警察和军队之外的调查科。调查科先是作为国民党组织部内一个小小的基层组织，但是它很快就扩大成一个蔓延的、遍布全国的间谍特务体系。它的首任长官是蒋介石的秘书、著名的陈氏兄弟中的弟弟陈立夫。陈氏兄弟领导的“cc系”，是国民党中一个很有势力的集团。像许多早年奋发有为的国民党领导人一样，陈立夫曾留学美国，获得匹兹堡大学采矿工程学硕士学位，然后在宾夕法尼亚的煤矿工作。陈立夫在美国的经历使他确信科学技术是把握中国未来的关键，但是当他于一九二五年回到中国以后，在他的哥哥的训谕下卷入了政治。
到一九二九年，陈立夫大部分时间花在其他工作上，因此他就把秘密机构的管理权交给了他的表亲徐恩曾，尽管陈立夫名义上还是调查科的负责人。在西方以U·T·徐闻名的徐恩曾，毕业于上海交通大学电机工程系，然后同陈立夫一起在匹兹堡大学求学，曾为西屋（Westinghouse）电气公司工作，在一九二五年返回中国之前并参加了卡内基技术研究所（Carnegie Institute of Technology）的研究工作。徐恩曾平时说话温和，脸上一直挂着笑，实际上却是个狡猾、无情、贪婪和好色之徒。
由于受到调查科的威胁，共产党决定建立自己的秘密机构。作为党军事委员会首脑的周恩来，也负责各种安全事务。一九二七年十一月，他利用在四月十二日大屠杀以后创立的一支秘密小分队和幸存的工人纠察队员，建立了“特科”。最初，特科倾其全力于两个基本职责——设置安全的会议场所和处置共产党的叛徒——但是它很快发展成一个综合性的安全情报组织。一年之内，它有了四个科，每个科都有自己特定的任务。
特科中最普通的任务是总务科的职责，它管理财务、后勤和高层共产党领导人的生活起居。它发展同照相馆、古玩店、家具店和其他商业性企业的关系，用来隐藏武器，传递秘密情报并为特科的行动提供掩护。总务科设法租下房屋，使别人无法搜寻到共产党；基层组织的干部们有时会在这些安全的房子里生活和工作。小组领导人洪扬生，在法租界租了一间公寓，周恩来和特科成员可以在那儿集合碰头，因此避免了知道彼此家庭地址的必要。洪扬生后来在爱文义路租了一间公寓，在那儿党的领寻人和共产国际的代表可以假装成当地的商人和外国商人进行会面。
总务科还是党同分散在全上海的知识分子和专业阶层中同情共产党的社会知名人士发生联系的中介环节。当党的成员被捕时，总务科就会接近思想进步的律师寻求帮助，著名的法律教授潘震亚，不管共产党什么时候来请求，他都自愿提供免费服务。另外一位律师费国禧，也帮助共产党解决难题，但通常只收取微少的费用。总务科还约请医生陈家康，请他医治受伤的共产党员。
为了采取较具实力的行动，特科雇用了一批熟练的枪手。
以“红队”之名而著称，为上海全党的高级干部提供警卫，并负责各类会议的安全；他们还紧盯因反共特别有效而著称的调查科特务，作为打击目标。但是“红队”最重要的职责是实施惩罚，处置那些对应尽义务发生动摇或者背叛投向国民党一边的共产党员——这个任务为“红队”挣得了“打狗队”的名称。
“红队”实施行动时用尽各种各样的花招和伪装。枪手们有时会装扮成乞丐和沿街叫卖的小商贩。女追捕队员们有时会化装成家庭女佣；参加更为精心策划的行动的枪手会装扮成拍电影的摄影师和技术员。但是“红队”手法的戏剧性绝不能掩盖他们任务的生死攸关或行动的干脆利落。
从一九二七年年中开始，共产党的卫士们实施了一系列的攻击和保卫。上海市警察局档案卷宗中记载，仅仅在公共租界，从一九二七年到一九三一年之间，“红队”消灭了至少四十个对手或叛徒——一个最低限度的数字，因为“红队”的许多行动从未被发现过。他们经常被悄悄地遗忘掉，所以他们的命运依然无人知晓。除此之外，许多符动是在法租界和中国人管辖的大上海进行的，因此上海市警察局是没有纪录的。
警察对行动的纪录揭示了康生和他的同伴们令人困惑的忠诚和不断换人马的联结。被上海市警察局详细记录的四十名“红队”的牺牲者中，至少有十三人是共产党员，他们或者是投靠警察成为提供情报者，或者是投向其他反共组织。叛徒们通常被打死，但是“红队”也遭受过惨重的损失；负责暗杀的“红队”队员中有二十六人被上海市警察局逮捕。对于一个秘密组织来说，共产党的伤亡人数是很高的，在一个以告密和私人交易作为生存手段的社会里从事活动，这是必然的结果。
周恩来平时一直很忙，以致不会十分关注党的秘密工作，因此他逐渐把特科和“红队”的日常管理工作委托给一位性格浮夸、名叫顾顺章的“红队”队员。顾顺章个子矮胖，精于枪法和传统的中国棍术，一九二五年在五卅运动的示威游行和罢工中引起了共产党领导人的注意。后来他去苏联待了一年，接受安全工作的训练——调查、审讯、射击、爆破器材的使用和徒手格斗。回到中国以后，他做过共产国际代表米哈依尔·鲍罗廷短时期的保镳，然后开始同周思来密切合作。顾顺章在一九二七年的起义中指挥过一些共产党的武装运动，在四月大屠杀中逃离了死亡，据说，在国民党军队进攻被围困在商务印书馆大楼里的武装工人之前，下久，他是同周恩来一起逃脱的人之一。一九二八年，顾顺章继续当选为中央委员会委员。
作为出生于上海贫民窟的孩子，顾顺章渴望在政治上和社会上得到重视。身为社月笙声名狼藉的青帮中一员，顾顺章很快就能接触到来自上海各种警察队的情报，因为所有警察部队都被青帮的会员所渗透。他还时常出入夜总会，吸鸦片，并赢得了魔术家的名声，经常以化广奇的名字在著名的大世界娱乐中心表演。大世界是一幢高高的、像结婚蛋糕一样的建筑，座落在爱多亚路，里面提供各种形式的娱乐游戏，从跳舞和卖淫到射靶游戏、番摊和轮盘赌。五卅运动期间同顾顺章一起工作过的张国焘指出，“他的外表和习性有点像上海的花花公子。”盛岳，一位认识顾顺章的前共产党员，也说他的“私生活和品行挥霍浪费，”但认为周恩来似乎对顾顺章品格方面的问题太过轻忽了。
当上海警察当局越来越精于侦查“布尔什维克”之道时，暗中监视党的敌人的工作，对共产党的生存也变得更紧要了。
一九二八年四月，周恩来建立了情报科，这是一个从属于特科的小组，任务是渗透到敌方的安全机构里卧底。情报科的第一任科长是陈赓，一位二十五岁的湖南人，曾同顾顺章一起在苏联学习过暗杀技术。回到上海以后，他从事安全保卫工作；他总是警觉性高度加强，睡觉时在枕头底下放着一把枪。同在上海的许多党工作人员一样，陈赓同康生也很熟悉，有时候就住在他家里。
情报科刚建立，上海市警察局特科就给注重渗透到敌人秘密警察的共产党以一击。一九二八年四月下旬，上海市警察局突然搜查了中国共产党的一个地下办事处，并逮捕了一九二七年起义领导人之一罗亦农。连党干部都认为从未显露过的安全地点，竞被警察当局发现，这使陈赓很吃惊，弛立即着手调查这是怎么回事；通过顾顺章的青帮关系同警察局联系，陈赓发现一个讲德语的漂亮中国女子曾接近过老闸捕房的特科官员，提出以出卖三百五十名共产党员的名字和住址为条件，交换五万元和一本去外国的护照。为了表示她的真诚，她泄漏了那个罗亦农被捕的办事处地点。
陈赓查明告密者是何基华。何基华在二○年代中期去了德国，后来在莫斯科待了一段时期以后，她在上海党的总部工作。她很快对共产主义产生了幻灭感，密谋逃跑，去过一种新的生活。发现了她的告密者身份后，陈赓、顾顺章和几名“红队”成员在拂晓时分突袭了何基华的家，抓住了正在床上睡觉的她和她的新丈夫贺家兴。他们找到了那份还没有递交给警察当局的三百五十个姓名和住址的名单，然后向这对夫妇开了枪，其时一名队员在街上放起了成串的鞭炮，以淹没枪声。
何基华中了枪但没死（共产党通常携带发射七点六五毫米子弹的毛瑟枪——枪的口径对于执行死刑来说是太小了），但是没有了那份名单，市警察局不再对她感兴趣。伤好以后，她匿名消失在四川省，因为她是四川人。
在陈赓的领导下，情报组在反共势力中培植起一张特务网。陈赓行动中的核心人物是个广东人，叫鲍君甫，他在国民党调查科上海办事处工作。鲍君甫在日本受过教育，在五四运动期间回到中国，一头戴进了上海那热闹的社会生活中。
他开始熟悉这个社会的横断面，从日本记者到上海市警察局的官员，再成了上海大学的学生。实际上鲍君甫从未参加过中国共产党，但是他同情革命事业，透过一位共产党朋友，仡被安排同陈赓会面，陈赓同意鲍君甫为特科工作。意识到鲍君甫作为一个在国民党内部的特务所具有的价值，陈赓不惜工本地帮助他。他供给鲍君甫一辆轿车，并配给他一名叫连德生的中国共产党干部，既做他的警卫，又做与情报组联系的联络员。
鲍君甫进入调查科是由广东同乡杨剑虹作的担保。在杨剑虹因为一桩贪污受贿的丑闻而自杀以后，鲍君甫被任命为调查科驻上海的“特派员”。由于提供了大量关于国民党安全机构的情报，因而他对于共产党来说成了非常宝贵的人物。
鲍君甫还逐渐接近上海市警察局特科的官员，侦探监察罗伯逊，这位官员视鲍君甫为上海共产主义专家，无偿地同他分享情报。鲍君甫更突然接近上海市警察局的中国雇员，包括另一个广东同爹潭绍良，他是市警察局特科处理有关共产党事宜小组的“办事员”。一到晚上，鲍君甫和谭绍良就一起去著名的餐厅“一品香”吃饭、抽鸦片。陶醉于鲍君甫的魅力和鸦片之中的谭绍良，公然谈论着市警察局特科的行动情况。
鲍君甫除了提供敌方计划的情报来源之外，陈赓还利用他来消灭被国民党逮捕以后叛变投敌的共产党员。陈赓会提供给鲍君甫一些意欲显示那些背叛者是共产党“间谍”的证据；然后他就把证据传递给国民党警察当局，当局往往会中计谋，处死叛变的共产党员。
陈赓的另一个特务宋再生，贿赂他从前的家庭教师（此人也教过新任命的淞沪警备区司令熊式辉），在淞沪警备区司令部谋得了一个“秘密政治调查员”的职务。作为警备区司令部里的一名官员，宋再生期望每月能从青帮手里收到一箱左右用作贿赂的鸦片；他分出赃韧的百分之三十给他的老家庭教师，买得他一声热情的推荐。熊式辉本人雇用了他，宋再生成为名闻上海的一名杰出的国民党安全官员。他同法租界里中国警察中的关键人物范广珍特别亲近，这个人经常把突然搜查共产党的消息告诉宋再生。心怀不满的左翼活动分子偶尔也会接近宋再生，企图为了奖赏而出卖李立三那样的共产党员。靠陈赓和顾顺章的帮助，宋再生保证那些叛徒中无人能够生还。
尽管共产党有许多精心安插的特务，在这场秘密战争的整个过程中，最初还是调查科赢得了大部分的胜利。由于对共产党基层组织的渗透，对叛徒的招募以及严刑拷打或用贿赂从囚犯中榨取情报，调查科接连摧毁了许多共产党组织。
一九二八年一月，共产党刚从一九二七年四月的大屠杀中恢复过来不久，国民党特务突然搜查了上海二十个共产党的藏身之处；据上海市警察局报告，在公共租界有一百二十五名共产党员被逮捕，在法租界和大上海有一百八十六名党员被捕。
第二年，又捕获二百九十五名共产党员，其中包括一名重要的农民领导人彭湃。一九一○年，另外五百七十二名党员在上海被逮捕，在这个国家的其他地方，被捕的人数则更多。王明赢得党的控制权那一年，即一九三一年，对于上海共产党来说是特别糟糕的一年。被捕的人数虽只有三百四十五人，但他们当中包括了许多高级官员——其中包括保尔·鲁伊格（Paul Ruegg）和葛楚德·鲁伊格（Gertrude Ruegg），一对出生于瑞典的夫妇，他们是共产国际驻中国的代表。
所有打击中最糟的危机是在一九三一年四月二十五日，当时顾顺章在汉口被凋查科特务抓获，尽管他有秘密工作的所有技巧和各种各样的伪装。顾顺章骨子里是个机会主义者，他在被捕后的几个小时里，就同意和国民党合作。他的叛变使上海的共产党面临自一九二七年以来最危险的境地。在顾顺章被捕后那些惊慌失措的日子里，康生被擢升为中国共产党秘密机构的首脑。
顾顺章的叛变使共产主义运动大大削弱。他的被捕令许多重要的中国共产党领导人的安全蒙受危险，其中有周恩来，王明、陈云和康生。一场可能改变中国历史进程的灾难，结果却被两名受陈赓领导、渗透在国民党安全机构的情报组特工的勇气和冷静所阻止。
两名特工中处于更具战略性地位的是钱壮飞，是个近乎完美的共产党间谍：高个子，衣冠楚楚，脸上带着调皮的微笑，有着广泛的兴趣（绘画、书法、表演、电影摄制），很容易给人一种无瑕的资产者印象。陈赓了解徐恩曾从浙江无线电和电报局挑选了许多人做他的情报工作人员，就安排钱壮飞参加了一个无线电训练组。钱壮飞的各种特别条件——更不必说他的原籍是徐恩曾的家乡、浙江省的湖州——给了徐恩曾很好的印象，徐恩曾于一九二八年把他吸收进正在迅速发展的调查科。除此之外，钱壮飞成了他的机要秘书和私人助手。
另一位秘密共产党员是李克农，他也帮助党免受顾顺章叛变而造成的危险。由于受到五四运动激进思想的激励，李克农于一九二六年在芜湖参加了共产党，在那儿他帮忙建立了一个党的训练中心，即民生中学，并开始熟识这个城市中亲共产党的作家和诗人团体。一九二八年春天转到上海后，李克农在文化战线上工作，促使当地的小说家、新闻记者和杂志编辑向激进思想转化。
同钱壮飞一样，李克农也是个理想的间谍人才。穿着西装，系着领带，戴着厚厚的圆眼镜，他很容易被误认为是上海的新闻记者。他是个有着摹拟天才的诙谐演说家，他的迷人个性很能赢得信任。一九二九年，由于钱壮飞的帮忙，李克农开始在上海无线电控制局工作，这是另一个徐恩曾从中为秘密工作挑选新成员的单位。像钱壮飞所希望的那样，李克农被邀加入国民党的情报机构。李克农在上海暗中监视着国民党的动静，同时还担任钱壮飞（在南京基地他不敢同共产党联系）和陈赓之间的联络人。作为中国共产党情报组首脑的陈赓，负责协调钱壮飞和李克农的工作并传递他们情报，先给顾顺章，然后再交给周恩来。
顾顺章叛变的第一份报告，是在一九三一年四月二十五日星期六晚上用电报拍给南京调查科总部的。在电报到达前几分钟，徐恩曾正好离身去酒吧和夜总会消磨夜晚。使用的、电码曾被钱壮飞秘密复制过，他译解出电报并派他年轻的女婿刘杞夫连夜向李克农报警。火车太慢，刘杞夫直到星期天晚上才抵达上海。他在共产党特工常去的东方旅社找到了李克农，李克农火速安排联系特科，转递来自南京的消息。
听到顾顺章已经叛变，周恩来马上布置了一系列紧急对策。在陈云和那时已晋升为组织部长的康生的帮助下，周恩来向所有重要的党组织单位——党的总部、江苏省委以及共产国际上海办事处——发出命令：当晚转移到新的基地去。
中国共产党的统治集团采取最快速的行动，诸如卷宗档案、设备、衣物和各种私人用品都被火速捆扎起来，转移到不同的地点。
星期一，四月二十七日，当上海的共产党正在拚命试图寻找新的藏身之处时，顾顺章在警察的护送下坐船抵达南京。顾顺章一到国民党首都，蒋介石就亲自接见他。顾颂章宣誓抛弃共产主义，开始揭露他所了解关于共产党各种运作方式的每一细节，并拟订了一个捕捉上海的共产党领导人的计划。徐恩曾命令一队特务在他的两个部下张冲和顾建中的指挥下，当晚赶往上海，准备同法国和英国警察采取联合行动。星期二早上，一系列突击搜查开始了。但是他们太晚了——共产党领导人早已逃离。
然而，顾顺章的叛变毕竟是一次严重的打击。许多干部被逮捕，不但在上海，而且还在南京、北京、天津、杭州、汉口和其他城市。顾顺章的情报导致向忠发被捕，向于一九二八年在莫斯科第六次全国代表大会上，由于苏联赞助，被任命为中国共产党总书记。六月二十一日，他同他的情妇，一个酒吧姑娘杨秀贞一起，在法租界霞飞路上一家他用来作掩护的珠宝店里被捕。向忠发当即向调查科的审问者做了详细招供，并表示愿为国民党工作，但是在被捕两天后还是被处决了。按照当时的谣传，向忠发被处死是因为他的捕捉者们认为他太愚蠢，难以成为一个有用的背叛者，但是真正的原因是安全警察在枪毙他之后，蒋介石的缓刑令电报才刚刚到达，这显示了安全警察不同寻常的效率。顾顺章还告发了许多早先被逮捕的共产党员，包括康生在上海大学的两名老师恽代英和邛中夏，两人都被处决了。
紧随顾顺章叛变而来的逮捕和处决，并不是他所造成的唯一问题。他还写了一本名叫《特务工作的理论与实践》的书，这本书第一次向国民党提供了有关中国共产党秘密机构如何运作的全部内幕。他提供给国民党的情报几乎毁掉了特科：陈赓如此精明建立起来的间谍网被破坏殆尽；共产党最重要的人物之一鲍君甫被速捕；宋再生跑了；其他那些较次要的情报内线也失去了联络。
在上海党组织频于毁灭边缘的危机时刻，康生朝着成为共产党安全情报饥构统治人物的方向，迈出了最初一步。周恩来仍然领导着军事委员会，他为了尽力保护党免遭进一步破坏，他重建了秘密机构。他组成了一个值得信赖的资深干部班子，叫“特别工作委员会”，来领导党的情报和安全保卫工作，并解决那些由于颐顺章事件所暴露出存在于特科的问题。
周恩来还命令陈赓和已经暴露的其他共产党特工离开上海，用新的人马来接替他们。
周恩来亲自入座新的委员会，还任命了其他四名委员：潘汉年，一名二十五岁的干部，他身为有影响力的特工：在上海的文学界工作，交了许多当地的作家朋友；邝惠安，广东人，是一名“红队”成员，中央委员会候补委员；陈云；还有康生。康生缺乏顾顺章和陈赓那种专业化的苏联训练，但是由于他在上海这个危险环境里从事了多年的秘密工作，他是很适合这个任务的。
在组织新秘密机构的几个月里，周恩来不断面临着可能被捕的危险。调查科对顾顺章提供的许多线索穷追不舍，越来越向他逼近。出于对他的安全的考虑，周恩来于一九三一年八月动身前往位于汪西山区的共产党农村根据地。然而，在他离开之前，周恩来替康生完成了晋升为中国安全机构特权人物的第一步，他让他领导特别工作委员会，并安排他主管整个共产党的安全谍报机构——不但在上海，而且在整个国民党统治的中国。没有人会轻视这样一个行使权力的机会．康生占据这个关键位置达两年之久，直到他被重新委派去莫斯科。
周恩来撤换了特科全体人员，并建立了新的运作程序，但是特科的结构依然未经触动。当康生接管这个秘密机构的时候，情报科、红队和总务科仍然履行着同样的职责。但是新建立了一个联络科，专门安排秘密机构内部，并负责上海的党总部与江西农村根据地之间的通讯这个高度机密的任务。到康生主管安全工作时，联络科的许多工作都是通过秘密电台进行的。
在建立特别工作委员会的过程中，周恩来把一个全新的管理职能小组放在适当的位置。邝惠安，康生在特别工作委员会的一位同事，接替顾顺章担任红队队长，红队也被称为第三科，那时有三、四十名队员，被分成九个小组。邝惠安与康生紧密合作，尽管红队作为一个科，依然独立于这个秘密机构的其他部门。潘汉年，委员会的另一名成员，继陈赓之后担任情报科（或称第二科）科长，开始重建潜伏于国民党内部的间谍网。
与周恩来遥控特科的作法不一样，康生本人直接参与秘密机构的工作。他担任联络科（或称第四科）的领导，接替前任科长李强，李强也是那些被周恩来从上海送走的人之一。
这个位置使康生几乎可以控制共产党安全机构的每一个领域，随着负责秘密机构四个科之间的遁讯联系，他对大部分党的秘密活动有了直接的认识。由于掌管无线电通讯联系，康生能够监听党的几个根据地之间传递的各种电文讯息。他还监管与上海的共产国际代表的联系；尽管共产国际在上海有它自己的无线电报务员，但是它的代理人仍然必须倚仗康生的第四科来同江西的共产党总部联络。
担任新角色之后，康生进入了享有非常权力和特权的秘密的共产党菁英阶层。特别工作委员会及其四个科独立于正式的党组织之外：很少干部知道这个秘密组织的存在，更不用说它的成员是谁了。特别工作委员会的特工们除了进行他们的秘密工作之外，很少有什么任务责任，按照中国共产党的标准，他们都是被高薪雇用的。确实，康生对党的资金有最先支配权。一笔笔可观的费用支付给公共租界和法租界的警察，而当时其他活动所需要的钱却往往很难获得。
康生对党的银行帐户的控制，在上海的共产党中引起了激烈的争论。随着秘密机构变得日益庞大，费用日益增加，批评者开始暗地调查其贪婪和腐败。有些人甚至暗示，警察当局对共产党没有构成巨大的威胁，只是每一次抓几个共产党人而已，因为那些腐败的警察们会把消息出卖给康生的人，如此就可以敲榨中国共产党更多油水。秘密机构特工们奢侈的生活，更给这场争论增添了不少口舌。他们中许多人过着富有诱惑力的、令人目炫的生活。康生在红队中两个亡命徒特工丁默和李士群，径常穿着价格昂贵的西服套装，整日泡在餐馆、赌场和妓院里，同歹徒和吧女交际来往。
奢侈的生活助长了秘密机构的特殊化，但更显示它所具有的那种超越其他共产党员、极其醒目的权力。比如康生开始对他的同事和他们的家庭行使生杀予夺的权力。康生看上去相当善良，像一个近视眼的书呆子，透过他厚厚的眼镜片凝视着文件和人；但是历史显示，对于使人承受痛苦的行动，他毫无内疚。
共产党从顾顺章的背叛所造成的灾难中幸存下来，但是党在上海的处境依然很危险。国民党调查科逮捕了许多党的官员，但其中只有少数是很重要的。共产国际代表奥托·布劳恩（Otto Braun）把党的损失归罪于康生，宣称“由康生建立的安全部门……证明是一个彻底的失败-——以为数众多的领导官员的被捕和无线电台的没收而告终，中断了中央委员会同外部世界的联系接触。”事实上，在康生成为秘密机构首脑之前，党已经蒙受了损失；顾顺章的叛变是致命的一击；用徐恩曾的话来说，顾顺章“是共产党地下活动的一部活的百科全书，”他提供了通往共产党秘密世界的钥匙。
一九三二年四月，共产党的处境变得更加危险，当时国民党建立了一个新的安全机构。蒋介石于四月一日建立了复兴社特务处，一个右翼组织，在英语世界里通常以蓝衣社或蓝袍社闻名，是模仿希特勒的褐衫党和墨索里尼的黑衫党（多少有点不确切）。特务处的领导人员戴笠，一位黄埔军校的毕业生，他完成了种种危险和棘手的任务，从而证明了他对蒋介石的效忠。
戴笠的蓝衣社稳步扩张他们的权力，最终获得了大量国民党警察和军队的指挥权。蓝衣社犄务们监视着军人集团的阴谋（那些军阀和半独立的将军威胁着蒋介石的权力），暗中监视批评国民党的人，比如孀居的孙中山夫人，并进行着一场反共产党的秘密战争。戴笠手下人马无情地追捕他们的目标，任意绑架和暗杀。由于不受法律的约束，他们总是以拷打折磨他们的受害者。他们从男犯人身上榨取情报的共同方法之一，是将他的手绑在背后，用一根绳索拴住他的两个大拇指，然后慢慢地将他吊离地面，每一次抵抗就猛扯一下绳索。
如果未能使犯人开口，那就把他绑在墙上，挤压两肋以压迫他的内脏器官，肉体外上轻微伤害就会产生极度的痛苦；或者强行把水灌进犯人的鼻子和喉咙，引起一种溺死感。女犯人则用针刺她们的乳头，用棍棒捅她们的阴道，把竹签插入她们的指甲里。
戴笠的蓝衣社将近一年的行动，对共产党没有产生重大的冲击，但是调查科和上海的警察力量以显著的成功继续着他们的战役。面对国民党日益增长的威胁，康生的秘密机构开始了猛烈的反击。用自动手枪武装起来的红队，发动了一场威胁调查科侦探、国民党特务和叛徒的反攻战役。一九三二年四月二十二日，两名装扮成外国人的男性中国人开枪杀死了警察长王斌，—个来自上海的国民党陆军总部的侦探，上一年曾逮捕了共产党总书记向忠发。一九三二年十一月二十五日，六名由邝惠安率领的红队队员在一名国民党叛变者的协助下，突然袭击了调查科在闸北的一个秘密办事处，杀死了一名特务，击伤了另外三名。一九三三年四月十一日，五名红队队员在沪南区的一家咖俳馆里对他们在街上发现的四名调查科特务开了火，一名国民党特务死亡，两名严重受伤；红队的队员们迅即消失在人群中。接下来一个月，一名调查科特务去法庭作证时遭刘红队的伏击；他在送往医院途中死在救护车上。
尽管共产党在反击，但是党的安全仍在继续恶化，于是领导者们在一九三二年年底决定将总部迁出上海。设备和卷宗档案用汽船沿着一条秘密通道从上海运往汕头，然后用小船运往汉水上游，进入福建省的中心，离共产党在江西的根据地大约一百八十英里的地方。大多数资深的共产党员都撤退到江西，但是康生留在上海。他有两个主要任务：监督共产党在中国这个最重要的城市新成立的上海局的活动；领导特别工作委员会同国民党进行秘密争斗。
置身于这场生死攸关的斗争之中，康生仍然能找出时间，为秘密分发的宣传报纸和杂志——诸如《红旗杂志》、《斗争》和《工人运动指南》写出大量的文章。正如他的文章所揭示的，即使在那时，他已经明白了秘密工作在中国共产党总体结构中所处的地位，并且意识到不管这股地下的力量多么有用，任何想要进入党的最高层的人还必须同时是宣传家和决策者。
自从顾顺章叛变，共产党总部改组以来，康生还担任劳工部的领导。那份工作缺乏来自暗杀者手枪的紧迫感和直接的权力，但是在一个推崇无产阶级的政党里，它带来了巨大的威望。由于发表关于劳工问题的文章，康生参与了共产党关于党的政策、工会事务以及外交政策的研讨，后者或许是最具意义的。在一九三一年十二月至一九三三年七月间，他写了大约二十篇文章．这个数字表明他是多么重视文字战。
出于安全的缘故，康生总是用这个或者那个笔名写作。
有时他使用诸如“骆驼”的笔名，但他最喜爱的笔名有一种预示的味儿：谢康是他于一九三三年抵达莫斯科时选定“康生”这个名字前的一个步骤。尽管都是康生的化名，那些同他有关系的共产党干部，特别是王明和他的副手们，都知道作者就是康生——这是他的文字成就所带来的政治报偿的保证。
康生的文章表面上涉及的是劳工问题，但是他往往把注意力转向共产党政策方针的中心问题。拥护“四中全会的成就”——赞成帕维尔·米夫选择王明担任政治局最高领导人的代语之一——是他文章的一个固定特征。康生的文章给予王明无条件的支持，从而也赞同了苏联的政策，那时共产国际还面临中国共产主义运动中某些因素日益增长的抵制。
当时的主要问题是日本对中国的侵略，以及对此中国共产党应该采取什么态度。一九三一年六月，在中国东北一个军事禁区内，中国警察逮捕了一名日本陆军军官中村上尉和其他三名丑本人。四个人全部都是平民打扮，因此中国当局把他们视为间谍，于七月一日处决了。这正是日本军国主义者所期待的事情；一九三一年九月十八日，日本军队攻占了奉天（那时亦称沈阳），并占领了涵盖中国东北三省的满洲。大多数愤怒的中国人声言将会尽所能以各种方式来反抗日本人。同样的民族情绪也被许多共产党人表达出来，他们批评蒋介石对日本人的谨慎反应。然而，在王明的领导下，盲方路线—.康生所积极宣传的——策划反日姿态，首先要为苏联．、的利益服务。
康生的文章叙述道，“奉天事变”与其说是对中国的进攻，不如说是“帝国主义正在对中国进行瓜分，并开始攻击苏联。”
这种亲苏观点使康生远离民族主义的中国共产党，共产党要使劳工运动与抗日联合起来。康生坚持党的正确方针是武装劳工群众，并“动员工人们起来支持苏维埃”；力持民族主义的党员们正好相反，他们想要在共产党（红色）和国民党（黄色）之间结成联盟，来支撑国家的抗日事业。在这一点上，康生忠心耿耿地重复斯大林统治的共产国际的主张，坚定不移地捍卫他的庇护人王明唯莫斯科马首是瞻的方针。
其时，对土海共产党的威胁，特别是对康生的威胁，正在逐渐增大。调查科拉紧了他们围捕共产党的大网，开始逮捕康生身边的干部。一九三三年二月一日，王明的前保镖，后来揭露康生背叛共产主义事业的王云程，在公共租界的一幢房子里被国民党特务拘捕，被迫泄漏了许多共产党领导人的详情。其中之一就是康生，提到他时是用上海话发音的赵容这个名字——康生这个名字是后来才为人所知的。警察局卷宗档案概括了王云程对康生的评论：“江苏人，四十岁左右年纪，身高五英尺二英寸。身材修长，眼睛深陷，戴眼镜，以爱抽金鼠牌香烟且抽得多而闻名。‘中央’和特别党（G．P．U．）的成员。”
王云程的描述对识别康生并无多大帮助。把他的家乡省份说成江苏也是不正确的，而且他的身高少报了六英寸，但是它突出了康生的重要性，特别在警察的眼里，他佃总是留意着任何来自共产党安全谍报机构的人员。
一个月以后，当他们捕获了情报组前组长陈赓时，上海市警察局朝接近康生迈向一大步。陈赓在战斗中同同志失去联系，之后回到了上海。叛徒陈连生在公共租界的北京戏院里认出了他；陈赓在准备动身前往四川的一个共产党根据地之前，于三月二十四日晚上被捕。陈赓在被捕前曾在康生家里住过好几天，因而陈赓的被捕对康生是个十分明显的信号。
一旦陈赓落到调查科的手里，没有任何保证这不会涉及到康生的安全。陈赓后来说他没有泄漏任何一个共产党同伴的名字，尽管他被鞭打且受到电刑的折磨。
红队在康生的领导下继续取得了不少胜利，即使越来越多的共产党领导人被抓。六月十四日，四名共产党行刺者开枪打死了调查科上海局的首脑史济美——还曾取名为马绍武、吕克勤和周广亚——在他从公共租界的中心区的一辆轿车下来的时候。史济美过去是红队的特工，后来叛变投靠了国民党，并赢得了上海调查科特工中最能干者的名声。他策划了许多方案，包括绑架当时有着广泛读者群的左翼女作家丁玲。史济美率领了一队便衣侦探，其中许多人都是从上海黑社会中招募来的。按照一名中国记者的说法，史济美的人马用“大吃大喝、赌博、同妓女睡觉和注射六○六”来消磨他们的空余时间。
合乎他的放荡生活方式，史济美是在前往一座雅致漂亮的妓院（被《上海晚邮信使报》委婉地描述为“一所以‘甜心’著称的歌舞厅”）举办的餐会的路上，被共产党特工开枪击倒的。
史济美的被杀引发了全市的大搜捕。最初，史济美的情妇被怀疑是使他遭伏击的原因，但是目标很快集中刭餐会的另一位客人——康生的下属丁默，红队的成员，一直以《每日社会新闻》的记者和编辑的身份活动。丁默被拘留了。但国民党内的朋友们使他安全被释，充分显示出中国政治错综复杂的关系，但是丁默的被捕发出了另一个信号，那就是国民党正在渐渐逼近上海的共产党秘密机构。
即使如此，特科还是继续进行对国民党的争斗。红队队员们暗杀了史济美的继任者，当时他刚抵上海不久，正在春花旅社的三楼等候电梯。然而眼前的形势正转向对共产党不利的一面，而且国民党使共产党遭受到的损失增加了。在杀死史济美之后不久，康生的同伴盛岳就断定康生很清楚自己的安全问题，这个判断在一九三三年七月十九日的《上海晚邮信使报》上刊登的一则报导中被证实。按照这则报导，“在上海流传，有一份据称源自于秘密蓝衣社或中国法西斯组织的秘密文件，内有进行大规模暗杀的命令……”这份死亡名单上的第三个名字——签署日期是六月十五日，是史济美被暗杀的第二天——是另一种上海话发音的康生的化名赵容。戴笠的蓝衣社已经意识到康生在上海共产主义运动中的重要性。离开上海的时候到了。
康生没有撤退到江西农村的共产党根据地，而是去莫斯科同王明在一起。在曹轶欧的陪伴下，康生沿着那条在他之前许多党员走过的路线出发了：从上海坐轮船，到日本人占领下位于中国东北梅岸线的大连港，然后坐火车穿过满洲到达边境小城满洲里，并从那儿坐俄国人的火车穿过西伯利亚到莫斯科。
康生委托王明的支持者和莫斯科培训过的共产党人李竹声主管上海的党务。李竹声幸存了大绚一年时间，一九三四年六月十四日，国民党特务联合公共租界和法租界的警察力量一起行动，突然搜查了四十多个共产党的秘密藏身处，并且逮捕了五十四个资深领导人，包括李竹声，他很快就叛变投靠了国民党。七部无线电发报机也被警察当局查封没收，这一着有效地中止了少数留在上海的共产党同莫斯科的共产国际和江西的中国共产党根据地之间非常有限的联系。
对上海党机构的最后一击在三个月之后降临。一九三四年九月二十七日，国民党在一场针对红队的全力以赴的战役中，成功地逮捕了其领导人、康生以前的亲信邝惠安，以及他的三十五个同事。这一系列逮捕行动象征着国民党镇压在上海的共产党的最后胜利。意味深长的是，后来才由康生主管达两年之久的红队，是被主要敌人国民党调查科击溃的共产党组织中的最后一个。
康生在上海指挥党韵秘密工作，和他与红队共度的岁月，把他引进了神秘而权势炙火的菁英圈。这个时期还为康生未来在中国共产党队伍中的进一步晋升扫清了道路；他直接面对党的活动中最地下的一面，并使他习惯于背信忘义、暴力和残忍。康生在上海的经历对于他下一个目的地莫斯科来说是理想的准备，在那儿，对他这样气质和才能的人来说，是个不同寻常的机会。