全国抗日战争爆发后，根据国共两党达成的协议，国民政府军事委员会于1937年10月12日灭式宣布，在南方湘、赣、闽、粤、浙、鄂、豫、皖8个省13个地区活动的红军和红军游击队（不包括琼崖红军游击队）改编为国民革命军陆军新编第四军（简称新四军）。随后，中共中央经与国民党协商，任命叶挺为军长，项英为副军长，张云逸为参谋长，袁国平为政治部主任，周子昆为副参谋长，邓子恢为副主任。为加强共产党的领导，中共中央决定成立中共中央东南分局和中央军委新四军分会，项英为分局和军分会书记，陈毅为军分会副书记。
1937年12月25日，新四军军部在汉口成立，1938年1月6日移至江西南昌。新四军下辖4个支队和1个特务营。第1支队，司令员陈毅，副司令员傅秋涛，辖第1、第2团；第2支队，司令员张鼎丞，副司令员粟裕，辖第3、第4团；第3支队，司令员张云逸（兼），副司令员谭震林，辖第5、第6团；第4支队，司令员高敬亭，辖第7、第8、第9团和手枪团。特务营由军部直辖。全军共1.03万余人，2月至4月间，在江南的第1、第2、第3支队先后到达皖南岩寺地区集中，在江北的第4支队到达皖中舒城地区集中，军部亦由南昌移至岩寺。继之，各支队进行整编训练，准备开赴华中敌后抗日。
华中地区北起陇海路，南跨长江，西迄汉水，东至海滨，包括苏、浙、皖、鄂、豫等省和南京、上海、杭州、武汉、徐州等大中城市与战略要点，地多平原、丘陵和河湖港汊，人口众多，物产丰富、交通发达，战略地位极其重要。1938年春，日军以华中派遣军3个师团的兵力沿津浦路北进，协同其华北方面军夹击徐州地区中国军队，企图打通华北与华中地区的联系。
此时，苏、浙、皖大片地区已被日军占领。但日军只能控制大中城市和主要交通线，广大乡村尚无敌踪。为开展华中敌后抗日游击战争，创建华中抗日根据地，新四军第4支队展开于舒城、桐城、庐江、无为地区；由第1、第2、第3支队各一部组成的先遣支队向苏南敌后挺进，进行战略侦察。5月12日，第4支队一部在巢县南蒋家河口设伏，江北首战告捷，歼灭日军20余人。
5月4日，毛泽东发出关于开展华中抗日游击战争的指示，要求新四军在侦察部队出动之后，主力即可跟进，在广德、苏州、镇江、南京、芜湖5区之间建立以茅山力中心的抗日根据地；尔后分兵一部进入苏州、镇江、吴淞三角地区和北渡长江开辟江北地区。
5月14日，中共中央又发出关于新四军行动方针的指示，要求新四军利用目前的有利时机，主动地积极地深入到敌人后方去，以自己灵活、坚决的行动，模范的纪律与群众工作，在大江以南创立一些模范的游击根据地。遵照上述指示，第1支队主力于5月中旬跟随先遣支队向苏南挺进。6月17日，先遣支队于镇江西南之韦岗设伏，毙伤日军20余人，击毁汽车4辆。江南首战告捷。
7月，第2、第3支队主力进入苏南和皖南沿江地区，军部也由岩寺进驻泾县云岭。此后，第1、第2、第3支队分别展开于镇江、句容、金坛，江宁、当涂、溧水、高淳、芜湖、繁昌及青阳等地区，并取得新丰、句容、珥陵等多次战斗胜利。新四军各部进入上述地区后，积极发动群众，开展游击战争，创建根据地，开辟华中敌后战场。
苏南敌后游击战争的开展和抗日游击战争的开创，严重地威胁着日军的后方。日军为解除后顾之忧，遂调集4500余人，在飞机、坦克支援下，于8月22日和23日，由袜陵关、溧阳、当涂、采石、江宁等地分8路出动，水陆并进，企图“围攻”小丹阳地区，消灭新四军第2支队，摧毁初创之抗日根据地。
23日黄昏，新四军第2支队获悉日军上述企图后，当即以一部兵力阻击和袭扰日军，主力则隐蔽集结于小丹阳以西之杨家庄，伺机打击日军一路；另以一部兵力转至外线，袭击陶吴和当涂之日军据点。与此同时，新四军第1支队则动员广大群众和地方武装对南京至杭州、南京至上海、句容至丹阳等公路展开破袭战，并派出精干小分队袭击南京近郊麒麟门，策应第2支队的反“围攻”作战。
24日，日军合击小丹阳。第2支队主力于鸡笼山给进犯之敌以有力打击后，随即转移。日军合围扑空，加之其后方据点受到威胁，遂于26日开始撤退。新四军苏南部队取得粉碎日军首次“围攻”的胜利。
9月以后，日军又连续对苏南抗日根据地进行“扫荡”。至12月，苏南地区军民先后粉碎日军“扫荡”近30次，初步巩固了以茅山为中心的苏南抗日根据地。
1938年7月1日，新四军第3支队开赴皖南抗日前线，活动于东起芜湖，宣城，两至青阳、大通镇，南起章家渡，北至长江的横宽100余公里，纵深约60公里的狭长地带。这个地区面对日军之长江交通线，系日军第15、第116师团的结合部。日军经常出动“扫荡”，双方战斗频繁。9月底，第三战区强令新四军第3支队担负坚守青弋江阵地的任务。
10月29日，第3支队侦悉日军在湾、凤凰闸、大洋桥一带增兵800余人，企图向青弋江阵地进攻，以配合其主力对铜陵、大通镇沿江地区的“扫荡”。新四军第3支队根据上述敌情，决心坚守青戈江阵地，以掩护南陵，策应友军作战。其具体部署是：以第6团第3营在夫子决、马家园、十甲村一线担负正面防御；以第5团第7、第9连于跑马山一带侧击进犯马家园之敌，以第8连于三叉河担任警戒；以第5团和第6团各1个营为预备队，集结于蒲桥、弋江镇。
30日，湾沚日军500余人向红锡镇阵地发起进攻。日军一部与新四军第3支队第8、第9连各一部于清水潭展开激战。新四军第3支队部队在歼敌100余人后，主动撤出战斗，日军占领清水潭后，于11月3日又增兵400余人，分4路围攻马家园新四军第3支队部队，第3支队第6团第3营等部在予日军以杀伤后，主动撤离。日军占领十甲村、马家园。第3支队随即调整部署，集中主力对日军实施反击。日军退至红花铺等地，第3支队收复马家园。当夜，第3支队又派出精干小分队，袭击湾及九里山之日军据点。日军于11月4日退回湾。经4天战斗，第3支队共歼敌300余人。
12月，第3支队奉命转至铜陵、繁昌地区担任防御任务。与此同时，第1支队第1团、第2支队第3团由苏南调回皖南，归新四军军部直接指挥。此时，日军为确保长江交通，对皖南地区进行频繁“扫荡”，铜、繁一带是日军“扫荡”的重点。1939年1至2月间，新四军第3支队与日军两次争夺繁昌城，两失两克。5月，日伪军1000余人再攻繁昌，又被第3支队击退。
11月和12月，日伪军又各以3000余人两次进攻繁昌，均未得逞。新四军取得5次繁昌保卫战的胜利，有力地打击了日军。至1939年年底，新四军第3支队和第1支队第1团、第2支队第3团在铜陵、繁昌和泾县地区共作战200余次，胜利地保卫了皖南抗日阵地。
1940年4月下旬，日军为巩固江防，确保长江交通运输，调集第15、第17，第116师团各一部共1万亲人，在飞机掩护下，对皖南进行大规模“扫荡”。26日，驻芜湖日军5000余人进占南陵，然后分2路向新四军父子岭阵地和南（陵）青（阳）公路上的何家湾防地进攻。坚守父子岭阵地的新四军第1支队第1团与日军2000余人激战8小时，毙伤敌370余人，将敌击退；坚守何家湾阵地的新四军第2支队第3团与日军3000余人激战9小时，歼敌300余人，将敌击退。同时，第3支队在繁昌地区广泛开展游击战，积极打击和牵制日军。历时10天的反“扫荡”作战，以新四军取得歼灭日军900余人的胜利而告结束。
1940年10月，日军第13集团军为确保江南三角地带占领区，乘参加宜枣会战的部队返回之机，对第三战区部队发动大现模“扫荡”，即所谓“十月攻势”。其中一路5000余人在飞机掩护下，从铜陵、繁昌、南陵出动，经戴家会等地直扑新四军军部驻地云岭。新四军第3支队及第1、第3团，在叶挺军长的指挥下，坚守云岭外围阵地，与日军展开10余次激战，歼敌数百人，击溃了日军的进攻，保卫了云岭。日军在云岭遭到打击后，东渡青弋江，进占了国民党军驻守的泾县。新四军立即渡江，与日军激战于泾县东北地区及泾县南门，于9日克复烃县。日军向南陵撤退。
为贯彻执行东进方针，开展江北的统战工作，遵照中共中央的指示，1938年11月，新四军军部派参谋长张云逸率军部特务营抵江北无为地区，随即与国民党豫鄂皖边游击总司令廖磊建立了统战关系，并将庐江、无为地区中共领导的游击队统一整编为新四军江北游击纵队，担负皖中地区的抗战任务。同时，以第4支队第8团挺进淮南铁路以东，与当地游击队和东北军挺进团取得联系，共同在皖东开展游击战争。1939年初，大别山的国民党桂系军队积极向皖东伸展，企图把新四军第4支队挤出皖东地区。在此形势下，中共中央指示新四军派员主持成立江北指挥部，统一指挥江北新四军。
5月，叶挺军长根据上述指示，亲赴庐江东汤池，组织成立了新四军江北指挥部，由张云逸兼指挥。接着，整编了部队，由徐海东任第4支队司令员，辖第7，第9、第14团；以第8团为基础，成立新四军第5支队，由罗炳辉任司令员，郭述申任政治委员，辖第8、第10、第15团。此后，第4、第5支队分别在津浦路西、路东作战。经过2个多月，第4支队开辟了以定远东南的藕塘为中心的津浦路西根据地，第5支队开辟了以半塔集为中心的津浦路东根据地。
新四军在津浦路东，路西胜利地开展游击战争，使日军严重不安。为此，日军于1939年12月下旬，由南京、明光（今嘉山）、蚌埠等地出动2000余人，“扫荡”津浦路西藕塘以南之周家岗、大马厂、古河等地，新四军第4支队与日军进行了3天激烈战斗，歼敌160余人，日军被迫退回原防。第4支队乘胜收复周家岗、复兴集、大马厂、古河等地。这次反“扫荡”作战的胜利，对巩固和开展皖东敌后斗争具有重要意义，至1940年3月，新四军第4、第5支队已由原来5000余人发展到1万余人。
新四军第4、第5支队在皖东的发展，引起了国民党顽固派的忌恨。1940年3月，在蒋介石的策划下，国民党桂系军队李品仙部以其第138、第171师越过淮南路向东进逼，其先头一部5000余人分别围攻合肥以北青龙厂一带的新四军第4支队和定远以南大桥地区新四军江北指挥部，另以2个保安团向无为以西开城桥地区新四军江北游击纵队进攻，苏北地区国民党顽军韩德勤部也积极配合，准备向津浦路东新四军第5支队进攻。在此紧急时刻，中共中央、毛泽东于3月29日对反顽斗争的策略问题作了指示，指出：华中武装摩擦，应以惟河，淮南铁路为界，在此线以西避免武装冲突，在此线以东则应坚决控制在我手中，并首先反击当地的顽固派，对桂系军队力求缓和；对韩德勤部在有理有利原则下，当其进攻我军时，应坚决反击之，根据上述指示，中共中央中原局一方面令江北指挥部作好应战准备；一方面与李品仙部谈判，提议以淮南铁路力界，分区抗日，我不向西，彼不向东。但李品仙部对此提议置之不理，继续进逼。中共中央中原局决定，集中主力于津浦路西，首先反击当地顽固武装，制止桂系顽军东进，巩固路西阵地，尔后挥戈东向，击退津浦路东之韩顽的进攻。
3月初，驻全椒顽军第10游击纵队进抵距新四军江北指挥部驻地大桥镇15公里之复兴集；驻定远顽军第12游击纵队进至距新四军江北指挥部2公里之王回岗（今四清）；桂系顽军第138师先头一部进至八斗岭、王子城一线，向新四军江北指挥部发动进攻，新四军江北指挥部集中第4、第5支队及苏皖支队主力，于3月12日向进攻大桥地区的顽军发起反击，攻克定远县城，歼灭顽军第12游击纵队大部、第10游击纵队一部，共2000亲人，为争取桂系顽军，新四军主动停战，再度提议和谈。
正当新四军皖东部队主力在路西作战时，顽军韩德勤部集中8个多团的兵力，于3月19日开始围攻新四军第5支队驻地半塔集地区，此时，第5支队主力已去路西参加反顽作战，半塔集仅有留守机关及部队约1000人，形势十分危急。中共中央中原局书记刘少奇当即令路东部队固守待援；令新四军挺进纵队西援；令江北指挥部率第5支队、苏皖支队立即东援。从19日至26日，驻守半塔集的新四军部队与顽军激战8昼夜，打退顽军10余次进攻，终于守住了阵地。27日，新四军各路援军陆续赶到路东，并于29日在王店集、莲塘地区将顽军击溃。大桥与半塔隼自卫反击战的胜利，粉碎了顽军东西夹攻皖东新四军部队的阴谋，为坚持路东、路西阵地、开辟皖东敌后抗日根据地创造了良好条件。此后，第4、第5支队深入发动群众，开展皖东根据地的建设工作。8月，第5支队与八路军第5纵队共同开辟了淮（阴）宝（应）区，使皖东与淮海两地区打通了联系。
皖东抗日根据地的建立，严重威胁着日伪统治中心南京和津浦路南端交通线。日军为解除这一威胁，于8月下旬从江南抽调第15、第17师团及伪浙江绥靖军各一部至皖东各据点，准备集中1万余人的兵力，以1个月的时间，向津浦路东大学“扫荡”，企图彻底摧毁皖东抗日根据地。新四军江北指挥部决定以第4支队主力于路西防备顽军袭扰；以留守路东的第14团和津浦路东联防司令部独立第1、第2团及干部学校，在人民自卫武装的配合下，就地分散，开展游击战争，伏击、打击日伪军；以进入淮宝地区的第5支队第7、第8团及进入皖东北地区的八路军第5纵队第5团在外线积极策应，牵制日伪军。
9月5日起，天长、六合、来安、张八岭等据点的日伪军先后分进合击汊涧、竹镇、半塔集、自来桥、古城等地。9日，五河日军侵占双沟，配合半塔集日军占领盱眙城。11日，高邮日伪军又出扰淮宝区，企图钳制和拦阻第5支队主力南援。路东新四军部队在地方武装，人民自卫队密切配合下，灵活穿插，以袭击。伏击等战术，使日伪军处处扑空，到处挨打，至17日，日伪军被迫分路退回原防。皖东根据地历时12天的反“扫荡”作战胜利结束。皖东敌后军民共作战65次，歼灭日伪军600余人，进一步巩固了皖东敌后抗日根据地。