在创建和发展鲁南根据地的斗争中，罗荣桓熟练地运用着军事斗争和统一战线这两个基本的武器。团结万春圃、争取孔昭同，是开展统一战线的重大成果。开明绅士万春圃是抱犊崮山区最先联合八路军的“司令”。因为他的长子万国华、管家杨春茂、管武装的刘清如都是共产党员。万春圃，人称万三爷，早年行走江湖，因行侠仗义而闻名，在这一带享有极高的声誉。抗战爆发后，山东第三区专员张里元要他恢复临沂、费县、峄县、滕县四县边区联庄会。万春圃的武装有几百条步枪，还有几挺机枪和3门迫击炮，在这一带算是大股。不过，他的武装是靠共产党组织帮助建立起来的。他对八路军有好感，但并不十分了解。
罗荣桓和陈光一到鲁南便受到热情款待。万春圃的夫人亲自下厨做了远近闻名的全羊席。3人谈得十分投机，都说从来没有喝过这么多酒。万春圃力邀二人住下来，把师部设在他家。万宅房多院大，做师部是再好不过了。
陈光整天骑马巡视部队，罗荣桓坐镇师部掌握全盘。万春圃亲眼目睹八路军的所作所为感慨不已。八路军官兵平等，亲如兄弟。罗荣桓经常教士兵认字、写字，亲自同马夫一起喂马。一个统率千军万马的高级将领居然穿着一身褪成白色的衣服，被褥满是补丁，吃的是咸菜和高粱饼，整天跟士兵在一起唱歌。
有一次，万春圃吩咐夫人做了一个辣子鸡丁，让勤务兵端给罗荣桓。勤务兵知道罗荣桓的脾气，不敢收。万春圃说：“这是我的一点心意，罗政委说你，由我‘兜着’。”
勤务员只好斗胆收下，诚惶诚恐地端进师部。罗荣桓拿起筷子，问：“小王，改善伙食了吗？谁通知的呀？”
“是万三爷送的，他说是他的一点心意。”勤务员生怕挨批，连忙解释道，“我没办法才收下的，万三爷说你要是批我，由他兜着。”
罗荣桓放下筷子，取出刚发的津贴费，交给小王，“你去买点东西酬谢万家，告诉他三大纪律八项注意是我军的规矩，千万别让人家产生误会。”
万春圃十分感动，和夫人一起去拜访罗荣桓，正好看到罗荣桓坐在门槛上给警卫员挑泡、擦药。
“这样的官长，这样的军队世间罕有，真是王者之师，仁义之师啊！”万春圃感叹道。
1940年3月22日，万春圃的四县边区联庄会正式编入八路军四县边联支队。与此同时，另一位开明绅士孔昭同也参加了八路军，被任命为八路军115师曲、泗、邹、滕、费5县游击司令。
孔昭同是滕县人，是孔子的后裔，曾在北洋军中当过中将师长和福建泉（州）兴（化）永（定）镇守使。北伐战争后，他解甲回乡，开药店，办学堂，济世育人。
1938年初，日军占领济南后继续南下，占领泰安、兖州，滕县告急。滕县城中土豪劣绅怂恿他出面组织亲日的维持会，他却说：“咱扛把子（指刀枪剑戟）上街卖拳、要饭去，也不能当汉奸！”
当年1月底，孔昭同与曾经当过阎锡山军长的杨士元组织了鲁南民众抗日自卫军，杨任司令，孔任副司令。
3月，日军进攻滕县，孔昭同的儿子孔宪尧和孔宪纲遭日军飞机轰炸而遇难。不久，抗日自卫军也遭到日军的袭击而溃散。失败反而更加坚定了孔昭同的抗日决心，他变卖家产，重组军队，身披写着“上尽国忠，下报家仇”的黄缎带，在滕县山区为组织武装而奔走呼号，队伍又稍稍恢复。1938年夏，国民党第10集团军司令石友三驻扎在山东，孔昭同是石友三的结拜兄弟，便接受了石部的暂编第6师的番号，活动于抱犊崮西北的滕县、邹县、泗水和费县之间。
1938年底，石友三部调往河北。孔昭同拒绝北上，坚持在家乡抗战。1939年3月22日，孔部在滕县龙岭山下同100余日军遭遇。孔昭同当时已年近花甲，但老而益坚，脱掉皮袍，光着膀子，面对日军，奋臂高呼：“尧纲两儿，魂若有灵，助父杀敌，雪耻报仇！”随即带领部下冲向敌人，日军丢下十几具尸体，狼狈逃窜。
孔昭同部中最早与115师建立联系的是第2旅。这个旅原是共产党领导的鲁南人民抗日义勇队的一部分，旅长董尧卿是共产党员。1938年8月作战失利，与党失去联系后编入孔部，成为该部主力。115师进驻鲁南后，董尧卿即派人联络，恢复了党的关系，115师给他派去了参谋长。孔昭同闻讯后，便请山东教育界知名人士彭畏三（曾任山东省教育厅督学），帮他与115师建立联系。
彭畏三到大炉后，罗荣桓按照当地的习惯，摆了“十大碗”宴席盛情款待。席间，罗荣桓向彭畏三阐明了中国共产党的统一战线政策。当时，于学忠和张里元都在拉拢孔昭同。孔昭同对国民党消极抗日、积极反共的行为很反感，对共产党坚决抗日很钦佩。但是，他多少还有一点后顾之忧。为了解除孔昭同的顾虑，罗荣桓请彭畏三转告，八路军与孔部合作抗日，孔部可保持原来的番号，继续在原地活动，双方要加强联系，增进了解。彭畏三提出，孔昭同希望八路军派一位政工干部去作政治部主任，罗荣桓当即将在座作陪的特务营教导员黄玉昆介绍给他。
第二天一早，黄玉昆就与彭畏三一起离开了115师。行前，罗荣桓握着彭畏三的手说：“以后希望随时通报敌情，加强联系，孔师长在供给上有什么困难，我们可以帮助解决。”
黄玉昆到孔昭同的部队以后，按照罗荣桓的指示，宣传八路军的抗日主张和三大纪律、八项注意等八路军的优良传统，帮助孔昭同整顿部队，克服旧军队的恶习，改善官兵关系和军民关系，为后来共产党改造这支部队打下了基础。
1939年12月，蒋介石发动了第一次反共高潮，在滕县活动的国民党顽固派申宪武（申从周）蠢蠢欲动，企图进攻孔昭同部。孔昭同部的第1旅旅长刘昭汉，也与国民党进行勾结，脱离了孔昭同的控制。为了帮助孔昭同，罗荣桓和陈光决定，打击申宪武，杀一杀顽固派的嚣张气焰。经过几次作战，申宪武狼狈逃命，他的两个团被消灭。战后，董尧卿旅即归还八路军建制，编入115师第686团。后来，686团改称鲁南支队，686团团长张仁初任支队长，董尧卿任副支队长。接着，孔昭同也毅然决定，与国民党割断联系，接受共产党和八路军的领导。一天晚上，他选派了10名身强力壮的保镖，护送黄玉昆连夜回到115师，向罗荣桓和陈光报告了他的这一决心。
随即，115师与上级取得了联系，经上级批准后，115师正式任命孔昭同为八路军115师曲、泗、邹、滕、费五县游击司令。孔昭同亲率人马，到115师驻地接受改编。115师召开了隆重的欢迎会，宴请孔昭同和他的部属。罗荣桓在欢迎会上讲话，热情称赞孔昭同坚持团结、坚持抗战的精神。罗荣桓和陈光检阅了孔昭同的部队，给指战员颁发了八路军臂章，还给孔昭同的部队补充了弹药和衣服。
1940年秋，孔昭同得了重病，在弥留之际，他对自己的儿子孔宪绍说：“共产党、八路军不歧视我们，不撤换我们，也不编散我们的部队。共产党一定会胜利，你一定要跟着共产党走。”
1940年11月，孔昭同因病逝世。罗荣桓、陈光和肖华联名送了挽联，颂扬孔昭同热爱真理，为民族、为国家英勇奋斗的高尚品德。
115师在鲁南还团结了许多在当地有一定声望的爱国人士，使他们在发展地方武装，开展敌占区贸易，瓦解日伪军方面，都发挥了很大的作用。