中国海军自甲午战争遭日本海军歼灭性打击后，一直未能恢复元气。
国民政府定都南京时，海军舰艇总吨位才34485吨。
“八一三”后，国民政府开始注意国防建设，海军方面，在海军部长陈绍宽主持下，也采取了一些措施，主要是购买、制造军舰和整顿江侮要塞。从1932年至1937年，从日本购买了“宁海”号巡洋舰，从德国和英国购买了15艘新式鱼雷快艇，自造了“平海”号巡洋舰和10艘炮艇，并改造了“建安”、“建威”、“中山”等13艘旧舰。
到1937年七七事变前夕，中国海军共有大小各种舰艇120余艘，总吨位约11万吨。但实际作战舰艇仅66艘，计约6.6万吨。海军部队的编制为：
第1舰队（陈季良）辖“海容”、“海筹”、“宁海”、“逸仙”、“大同”、“自强”、“永健”、“永绩”、“中山”、“建康”、“定安”、“克安”12舰，17484吨；
第2舰队（曾以鼎）辖“楚有”、“楚泰”、“楚同”、“楚谦”、“楚观”、“江元”、“江贞”、“永绥”、“民生”、“民仅”、“咸宁”、“德胜”、“威胜”、“江鲲”，“江犀”、“湖鹏”、“湖鹰”、“湖鹗”、“湖隼”19舰，9359吨；
第3舰队（谢刚哲）辖“定海”、“永翔”、“楚豫”，“江利”、“镇海”、“同安”、“海鸥”、“海鹤”、“海清”、“海燕”、“海骏”、“海蓬”、“海析”、“海琛”、“澄海”（“海圻”、“海琛”两舰名义上属第3舰队，实际上直接归军政部领导）15舰，14714吨；
练习舰队（王寿廷）辖“应瑞”、“通济”、“靖安”3舰，5375吨；
广东江防舰队（原第4舰队，冯悼勋）辖“肇和”巡洋舰、“海虎”等炮舰4艘，“福安”运输舰及小型河用炮艇19艘，共7880吨；
直辖舰队辖“平海”巡洋舰、“普安”、“武胜”运输舰及“长字”、“宿字”鱼雷艇，共5825吨；
巡防队辖“顺胜”等舰艇14艘，共4270吨；
测量队辖“甘露”等测量舰艇7艘，共3000吨。
此外，电雷学校辖“同心”、“同德”、“自由中国”号3艘及新式快艇14艘，共约3400吨。
中国海军的舰艇，不仅数量少，而且吨位小，质量差。其中吨位最大（4300吨）的巡洋舰“海析”号，已有近40年的舰龄，系清光绪22年自英国购人的。
清末民初，中国海军在沿海没有镇海、福州、厦门、汕头、虎门等要塞，在长江设有吴淞、江阴、镇江、南京等要塞。至1932年，炮台大多因失修而破烂不堪，要塞火炮亦陈旧落后，基本上没有防御能力。一二八淞沪抗战中，拒守长江门户的吴淞炮台被日军炸毁，根据《淞沪停战协定》，不仅不能修复，而且不许中国军队在那里设防，以致长江门户洞开，日本舰船可以任意进出长江。一旦战争爆发，日海军可在中国沿海任一港口登陆并可溯江深入中国腹地，1933年后，国民政府开始对各要塞进行整顿。主要是加固阵地、检修旧炮、增置新炮和添加各种瞄准观测器材。但由于财政困难，官僚腐败，进展甚慢。到1937年，方将江阴，南通、镇江、南京4个国防要塞和宁彼、厦门、马尾、连云港4个海防要塞修整完毕。据国民政府1937年《全国要塞现状一览表》载，共有炮台41座，各种要塞炮刀7门。
日本是一个岛国，要向外扩张，必须有强大的海军。早在日俄战争开始前，日本即己是世界七大海军国家之一（英、法、俄，德、日、美、意），位居第五。1935年12月9日，英、美、日、法、意五国在伦敦召开第二次海军裁军会议。日本因不满英，美对其限制，于1936年1月16日正式退出裁军会议，大力扩充其海军。至七七事变前夕，据日本《海军要览》记载，共有各类舰艇296艘，1204132万吨。日本海军对外作战，主要为联合舰队（此外有本国警备舰船，练习舰队及补给特务舰，预备舰等）。下辖第1、第2、第3舰队。第3舰队是专为侵略中国组建的。七七事变时，该舰队正在中国沿海演习。事变第二天，海军军令部下令中止演习，进行战备，并扩大其部队，向华东海域集中。淞沪会战期间，第3舰队的编组为：司令长官长谷川清中将，旗舰为“出云”号，辖第8战队，第9战队、第10战队、第11战队、第1水雷战队、第3水雷战队、第5水雷战队、第1潜水战队、“白鹰”舰、“嗟峨”舰、“鹤见”舰、“隐户”舰及第1、第11扫雷队，并配有航空母舰3艘、水上机母舰3艘等。1937年7月28日，日军开始大规模向平津地区中国军队进攻时，为便于在华中地区发动侵略战争，日本政府下令居住在长江流域的29230名日本侨民，撤回日本，同时令专在长江内活动的第3舰队第11战队向淞沪集结，并负责掩护日侨撤退。8月9日，上海发生虹桥事件，第11战队己全部集结至淞沪水域。
中国海军在舰艇数量、火力强度、射击距离，防护能力、航行速度各方面，都与日本海军相差悬殊，根本无力与之争夺制海仅，因而中国统帅部赋予海军的作战任务只是“淞沪方面实行战争之同时，以闭塞吴淞口，击灭在吴淞口以内之敌舰，并绝对防止其通过江阴以西为主。并以一部协力于要塞及陆地部队之作战”。七七事变发生后，中国海军舰艇除一小部分被派赴广东。福建、山东，协助警戒外，主要舰艇49艘，先后驶人长江，集中备战，鉴于日第3舰队不断增加兵力，海军部制定了封锁长江、构成阻塞线的计划，用以防止吴松口外之日舰溯江西进，在淞沪地区中国军队之侧背登陆或进攻南京。由于江阴附近江面较窄，江水深度不大，而且长山一带设有炮台，可控制下游水道，加之江防司令部和电雷学校均位于长山山麓，便于指挥，所以，拟以江阴为主要阻塞线，同时准备在黄浦江口也进行阻塞。
8月11日，首先破除了江阴以下的水道航行标志，派“甘露”、“皦白”、“青天”3艘测量舰及“绥宁”、“咸宁”2艘炮艇，将西周、浒浦口……福姜沙等地各项航行标志全部破除。并将灯塔、灯标、灯船等航标全部用炮击毁。当日下午，中国统帅部正式下达封锁长江的命令。12日夜，陈绍宽至江阴指挥，将预先征集的“嘉禾”号等20艘公、私商轮及“通济”、“大同”、“自强”、“德胜”、“威胜”、“武胜”、“辰字”、“宿字”8艘超龄旧舰诞在江间排成一道拦江横线，抛下首尾双锚，午后，在统一信号下，同时打开舱底阀门，灌水下沉，封锁了长江，并在封锁线外布放了水雷。因江水湍急，有的沉船被急流推倒或推移，阻塞线上出现豁口，可通船只，遂又征用“公平”号等3艘商船、“吉安”号等8艘趸船，填补江心豁口，用装满石子的185只木帆船、盐船等，填补近岸豁口。最后，还将“海圻”、“海琛”、“海容”、“海筹”4艘旧巡洋舰的武器拆下，移装于炮台，将其船体填塞江中大的豁口。整个阻塞线共用舰船。趸船43艘，近6万吨，相当于中国海军的总吨位。第1舰队司令陈季良负责指挥防守作战，将“平海”、“宁海”、“应瑞”、“逸仙”等主力战舰泊于封锁线后两侧，并组织了对江上和空中的防御火力配系。
淞沪会开始后，中国海军为阻止日军由黄浦江迂回中国军队的侧后，于8月14日将“普安”号运输舰沉塞于董家渡，17日又将6艘商船沉塞于江南造船厂附近，将14艘商船沉塞于十六铺航道，保障了中国地面部队的侧背安全。8月16日和28日，海军的鱼雷快艇还曾两次奇袭日第3舰队旗舰“出云”号，将其击伤。
会战初期，日海军航空兵以舰载机为主，兵力不足，对江阴防线主要是侦察及扰乱性袭击。8月22日，日机12架袭击江阴，被中国海军舰艇炮火击落1架。此后相当一段时间，未再采取攻击行动。9月间，日海军航空兵第2联合航空队和陆军航空兵第3飞行团，先后将飞机移至上海公大纱厂和王浜前进机场，航空兵力大增。9月20日，日第3舰队司令长谷川清等决定。
以第2联合航空队为主，集中兵力，重点攻击江阴防线。9月22日，12架攻击机和6架战斗机袭击江阴，旗舰“平海”和各主力战舰及岸上的防空炮火立即辽击。后日机又分批轮番攻击。激战6小时，击落、击伤日机5架，日机群未能达到预期效果，被迫飞走。此战，“平海”号舰体中弹，舰长高宪申重伤，11名官兵牺牲，23人受伤。
9月23日，日军先以侦察机飞临江阴上空，尔后，以70架飞机组成的机群飞临江阴。以12架战斗机攻击岸上炮台，吸引岸上火力，再以26架轰炸机轮番向“平海”、“宁海”舰轰炸。“平海”舰再次负伤，被迫向上游避航。日机增派20架轰炸机跟踪追击轰炸，当日沉搁于十二圩浅滩。“平海”舰沉后，日机集中攻击“宁海”舰，几十架日机轮番轰炸、扫射。该舰首部船舷多处中弹，前舱进水。舰上官兵奋勇作战，前仆后继。爆炸弹打完，使用穿甲弹射击。舰员死伤过半，舰长陈宏泰负伤仍坚持指挥战斗。后该舰亦被迫驶至人圩搁浅。两日激战，“平海”、“宁海”两舰消耗高射炮弹1300余发、高射机枪弹1万余发。“平海”、“宁海”两舰沉后，陈季良移至“逸仙”号继续指挥作战。
9月25日，“逸仙”舰正在江阴至鱼目州间航行时，日机16架击袭。陈季良指挥炮火反击，击落日机2架，“逸仙”舰也中弹沉没。与此同时，前来救援的中国海军唯一的驱逐舰“建康”号，亦被日机炸沉。第1舰队主力战舰基本损失殆尽，海军部即命第2舰队司令曾以鼎率“楚有”舰驶江阴接防。曾以鼎全力增强阻塞线附近的工事，加固亚山，肖山、黄山等炮台。
9月29日，在战斗中，“楚有”舰亦受重创，于10月2日沉没，“青天”、“皦日”、“江宁”、“湖鹏”、“湖鹗”、“江元”、“仁胜”、“崇宁”等舰艇，也都在激战中先后被击沉或击毁。中国海军的主力舰艇基本上消耗殆尽。此后，将舰炮拆下，装于江岸，构成江岸要塞阵地，以岸炮火力拦截西侵的日舰，同时以镇江作为第2道防线，10月21日，日舰3艘溯江向阻塞线接近，南岸炮火突然袭击，击沉其先头1舰，其余之舰迅速退走。11月间，淤沪形势紧张。12日，中国军队撤出上海，退向南京，日军退踪追击，30日包围了江阴，5艘日舰由江上向阻塞线进逼。要塞炮兵发炮射击，击中1艘，但由于日军炮火猛烈，巫山炮台被毁。
12月1日，日军突破江阴陆军防线。要塞地区的海军将各炮台炮件自毁后撤走。江阴保卫战结束，江阴失陷后，日军动用潜水，打捞人员1000余，昼夜清除水雷和障碍，打捞沉船，直至1938年2月，方打开一个通道，可容吃水深的军舰通过。
1938年1月，国民政府为适应战时需要，将海军部改组为战时海军总司令部，由陈绍宽任总司令。早在南京失守时即开始在马当布置新防线，以阻止日军溯江西进。初用投石方法，拟在江中垒成一条人工暗礁封锁线，并采用古老的设置水障方法，用大量麻绳绑上竹筒，使之浮在水面，企图用以缠绞日舰轮叶。但因江水湍急，现代军舰亦非古船可比，这种方法当然无效。后又改用以水雷及要塞火力封锁水道的战术组成新防线，布雷800余具，毁除获港以上九江以下各航道标志，并配以炮队和陆战队防守。马当要塞编配120毫米舰炮8门，湖口要塞编配105毫米舰炮6门，射程均在1500米至数千米之间。“义”字号和“胜”字号各炮艇，轮流巡戈千附近。马当阻塞线建成后，日海军舰队无法西进，舰艇集中于芜湖地区，以航空兵进行空袭。3月27日，日机3架击沉“义胜”号炮艇。4月后，日海军进攻大通、贵池。中国海军加强防守，除在香口、牌石矶、凌家嘴及羊山矶各处布放固定水雷外，还制成一种轻型漂雷，在羊山矶布放，迎击西进的日舰。4月14日，两艘日舰触雷伤沉。
6月间，大通，安庆相继失守，6月21日，日舰开始进攻马当。在此之前，中国海军于阻塞线前后又加布水雷600具、漂雷百余具。日舰因惧水雷，改以汽艇担任主攻。22日，日汽艇10余艘，在日舰掩护下，逼近马当防绞。中国海军炮队以急袭火力迎击，击沉3艘。25日，日海军以多艘巡洋舰、驱逐舰。再次进攻马当。防守的炮队沉着应战。日巡洋舰1艘中弹起火，被迫退走。26日，日本陆军迂回迫近马当。争夺要塞的战斗异常激烈，南岸香山阵地，4次失而复得，海军炮兵和海军陆战队大批官兵壮烈殉国，余部突围，马当失守。7月4日，湖口要塞被日机炸毁陷落。在此前后，“祟宁”、“长宁”、“咸宁”3艘炮艇先后被日机炸沉，“咸宁”号官兵在战斗中曾击落日机2架。
马当，湖口防线失守后，武汉防务趋于严峻。中国海军以田家镇作为保卫武汉的江防前卫防线。为加强防守纵深，在葛店组成后防线，派“中山”号等8舰负责运输，并协同要塞在此设防。田家镇配置105毫米舰炮8门，以它山，象山为阵地；葛店配置75毫米至120毫米炮10门，以黄家矶、白浒山为阵地。同时，将九江以上汉口以下航道标志全部破除。划田家镇、半壁山间，蕲春、岚头矶间，黄石港、石灰窑间，黄岗、鄂城间为4个主要雷区，先后布雷1500余具。还组建了漂雷队，沿江东下，潜至日舰前方施放。在武穴附近，有2艘日舰遇漂雷沉没。海军总司令陈绍宽以“永绥”号为旗舰，驻汉口指挥防务。
1938年8月22日，日军开始向田家镇防线进攻。9月20日以后，进攻加强。20日，日海军以巡洋舰、驱逐舰各2艘，汽艇11艘，另有其他军舰6艘，向田家镇发动猛攻，被守军击退。21日，日汽艇14艘在前扫雷，被击沉8艘，其余退走。22日又被击沉4艘汽艇。日海军屡攻无效，遂攻变主攻方向，转向南岸富池口进攻，23日晚，富池口要塞失守。26日，马口湖失守。田家镇炮台陷于四面被围的困境。28日，日海军与航空兵及陆军协同攻击。血战数小时，终因寡不敌众，守军被迫于当晚撤退，田家镇要塞失守。此时，武汉江防正面仅余葛店要塞一处。9月30日，海军在葛店增布水雷1120具。日海军采取其惯用的迂回战术，切断葛店要塞退路。10月中旬，日军向葛店发起进攻。一周之内，守军击沉日汽艇近10艘。10月24日，日海军企图在赵家矶登陆，被葛店炮火击沉汽艇4艘。当日，日飞机数十架轮番向中国舰艇及葛店要塞轰炸。“中山”舰被炸沉，要塞工事多处损坏。10月25日，中国海军弃守要塞，葛店与武汉同日陷落。
中国海军虽未能阻止日军沿长江向中国腹地进攻，并在一年的时间里，主力战舰损失殆尽。但它迟滞了日军的行动，支援了陆军的作战。保障了华东地区工厂内迁的顺利进行，对中国的抗战，起到了重要的作用。