事实上，黄郛一直都与蒋介石有着比较密切的书信往来，并且从蒋介石担任黄埔军校校长起，就开始为蒋介石出谋划策。
南昌时期的蒋介石尽管已经显山露水，但在政权和党权上尚不具备优势，中共和国民党左派均视之为敌，好听点说他是“拥兵自重”，难听点就直接指责为“新军阀”。另外，蒋介石当时拥有的军事力量也不足。国民革命军在誓师北伐时一共有八个军，其中只有何应钦的第一军跟蒋介石有直接关系，而且蒋介石还不能做到完全掌握，他真正可以控制的其实仅有第一军第一师。显然，当时的蒋介石要想问鼎中原，难度着实不小，他的日子也一直不是很好过，所以才会在日记中写道：“三年来酸辛泪，时自暗吞。”
感觉周围危机四伏的蒋介石急需拿出一个万全之策，但绞尽脑汁亦无所得，这时候他便想到了黄郛，说：“要筹划大计，非膺白兄莫属也。”
蒋介石两次给黄郛写信，邀其南下，第二次还特派张群到天津送信。
思虑再三，黄郛决计南下帮盟弟渡过难关。他首先途经上海，通过和自己的故交、中国银行副总裁张嘉敖商谈，为正苦于薪饷无着的北伐军筹到了大批款项。接着，在张群陪同下，他又来到南昌，当面向蒋介石阐述了自己“共底于成”的策略。
“共底于成”包括政治、财经、外交、军事、社会人心五个方面的内容，其中居于首位的是“离俄清党”。
黄郛援引了一个经济现象。他说由于一般市民畏惧国民党的“联俄容共政策”，已经导致“上海空屋日多，而天津租界地产价格，呈空前绝后之暴涨，初则广帮，继则沪帮，纷纷北来”，北方成为“中产阶级准备的最后立脚处”。
黄郛的意思是，蒋介石只有改变“联俄联共”的政策，才能在国民党内部站稳脚跟，进而问鼎中原。
黄郛的这一番宏论，对蒋介石而言无疑非常具有说服力。蒋介石决定采纳他的建议，着手开始进行“离俄清党”的准备。
其时，中共羽翼未丰，手上连枪杆子都没有，相对而言，“清党”是容易做到的，难的是“离俄”。国民党当初依靠苏联才在广东再度崛起，倘若没有苏联的支持，黄埔军校都不一定能办得起来。如今鸟尽弓藏，要一下子把人家甩掉，谈何容易。黄郛为此也想到了办法，这就是从清末起就采取的“以日制俄”策略。
日本虽然主要以国民党的对手奉系为支持对象，但它和苏联在中国东北存在着根本的利害冲突。按照黄郛的分析，“中国两个邻居（指日本和苏联）都不善”，眼下只能用缓急轻重之策，先谋求同日本、英国的谅解，以迅速改变从前一边倒向苏联的局面。
黄郛长期在北洋政府从事外交工作，在日本军政两界均有熟人。在黄郛的牵线搭桥下，蒋介石先后与日本军政代表进行会晤，称自己与苏联和中共之间存在“尖锐的对立”，并将断绝这种关系。他告诉日本军方代表铃木贞一：“你就放心吧！我到南京就正式表明态度。”
这一期间，在苏联顾问鲍罗廷的主持下，武汉政府通过反蒋方案，撤销了蒋介石的中央常委主席和军人部长职务。蒋介石与武汉政府的矛盾由此愈发激化，也更加坚定了他“表明态度”的决心。
1927年3月24日，北伐军攻占南京。当天便发生了“南京事件”（即“宁案”），英美两国以在宁侨民遭到北伐军的侵犯和劫掠为由，下令在长江上停泊的军舰对南京城实施炮击。
日本在“宁案”中也有损失，但日本政府禁止其军舰开炮。据说日本舰队司令在军舰驶回上海后即自杀谢罪，他在遗书中说，由于奉令不准开炮，以致海军保护侨民不周，这让他无面目再见国人。
日本政府在“宁案”中表现出来的态度，显然与之前对蒋介石达成的谅解有很大关系。当时一般舆论对“宁案”的解读，大多归结为列强对北伐军的挑衅，也有说北伐军部分士兵违纪，或者是北洋军乔装后故意嫁祸北伐军。
黄郛从日本领事馆得到了英美拟对蒋介石实施高压政策的情报，他立即向蒋介石进行了传达。
“宁案”让蒋介石的军政生涯面临着一场重大考验，蒋介石和他的部下幕僚们日夜商讨着应对之策。有一天晚上，黄郛去蒋介石的住所详谈，临行还特别关照家人带上铺盖，准备万一时间太晚，就留宿于蒋介石处。
黄郛给蒋介石的建议是，抓住时机，化被动为主动，在外交上争取日本的支持和英美的谅解。蒋介石表示完全认同，他对黄郛说：“膺白兄，现在是决定命运的关键时刻，我们一定要取得日本人的支持！”