1933年10月4日，刘志丹、黄子文、王世泰、黄罗斌等历经磨难辗转回到照金，受到根据地军民的热烈欢迎。
自红二十六军二团南下后，照金革命根据地的处境十分危急。7月，驻耀县的杨虎城部骑兵团团长王泰吉，按照省委指示，在中共三原中心县委协助下，率部队起义，成立了“西北抗日民众义勇军”，起义部队在三原张家坳的辘辘把受挫后，退回照金。与此同时，中共耀县县委组建了耀县游击队，转入照金苏区。同月下旬，中共三原中心县委根据陕西省委指示，将渭北游击队改编为红二十六军第四团，在国民党以重兵“围剿”渭北革命根据地的形势下，红四团在与敌周旋激战后，由团长黄子祥、政委杨森带领，于8月初进入照金苏区。这三支革命武装相继到照金后，壮大了革命武装力量，为重新恢复红二十六军，巩固照金根据地奠定了基础。
刘志丹、黄子文等回到照金后，刘志丹担任陕甘边红军临时总指挥部参谋长，王世泰、黄子文及先期返回照金红二团的同志都重新加入了红军部队，加强了红军部队的领导和骨干力量。10月中旬，红军主力在外线作战，敌人调数千人“围剿”，照金失守。
11月初，红二十六军四十二师党委在甘肃省合水县莲花寺成立，王泰吉任师长，高岗任政委，刘志丹任参谋长，黄子文任政治部主任。随后，部队进军甘肃南梁，开辟以南梁为中心的陕甘边革命根据地，作为红二十六军的军事后方，并建立一、二、三路陕甘边游击队总指挥部，配合红二十六军开展游击战争，子文兼任第三路陕甘边区工农游击队总指挥部政委。
1934年1月，部队由淳化、旬邑返回南梁途中，高岗在正宁县湫头原南邑村违犯军纪，在部队和群众中造成恶劣影响。游击队员高战胜将此事告知政治部主任黄子文，子文又告知师党委，建议作以处理。师党委即在合水廉家砭召开师党委会，批评帮助高岗。会上，黄子文从严明党纪、军纪和爱护同志的角度出发，对高岗提出了较为严厉的批评。最后，师党委撤销了高岗师政委职务，由红四团政委杨森继任师政委。从此高岗对黄子文怀恨于心。
2月，黄子文因病到西安治疗。4月，师政委杨森负伤后，由骑兵团政委张秀山接任师政委。张秀山在黄子文尚在西安治病未归的情况下，师党委却以黄子文“右倾”、“打了败仗”为由开除了子文的党籍。同月中旬，张邦英、王安民率领第三路游击队攻克耀县黄堡镇，消息在西安的报纸上披露后，张文华拿着报纸对病情有所好转的子文说：“你带我去红二十六军吧！”子文看了报纸，说：“看来北上路途无障碍了，我们先到武字区，再组织一支游击队带上去，壮大红军。”
第二天，张文华让西安党组织魏光波开了介绍信，和白耀清、杜宛随子文前往三原。快到草滩时，白耀清对张文华说：“听在西安看病的蔡指导员讲，子文被二十六军开除党籍了！”张文华说：“先别告诉子文！”他们的小声议论被子文听到了，他若无其事地说：“即使我个人受多大委屈也要把革命干到底，红二十六军把我的党籍开除了，是因为有些人不了解我，以为我搞起武装这一摊子，是想当个营、团、师长，其实我是为着工农社会解放的！”
子文到武字区后，找到留在家乡的游击队员王启德，将组织人北上的事一说，王启德很快集合了十二三个人。子文一行转了好几天，才在七碣石见到了第三路游击队政委张仲良和总指挥王安民。张仲良给子文带的人发了武器弹药，让其先在淳耀边界一带活动。
5月上旬，黄子文又从西安带蔡子伟、许图琏、张静文（女）、蔡春堂回到武字区，又将游击队集合起来，准备回红二十六军。队伍走到耀县的东坪时，又见到了张仲良，方知三路游击总指挥部在白家山遭后沟民团袭击，总指挥王安民阵亡。黄子文遂建议张仲良集中兵力，待机消灭后沟民团。张仲良采纳了子文的意见，并公推子文负责第三路游击队总指挥。后接到四十二师党委通知，让游击队北上召开干部会议。子文到南梁后，将蔡子伟、许国琏、张静文、杜宛介绍给陕甘边区革命委员会主席习仲勋和四十二师师长刘志丹。
5月28日，四十二师党委在寨子弯召开会议，决定恢复陕甘边特委，由张秀山任书记，成立特委军事委员会，刘志丹任军委书记，杨森接任四十二师师长，高岗复任师政委。会后，张仲良与黄子文带领第三路游击队，一面开展游击斗争保卫三夏，一面组织游击队帮助当地群众收割，播种。子文亲自带领家在外地的队员，协助当地队员收种。一天，他发现一个队员鞋破了，脚被麦茬戳破，鲜血直流，他便将从家里带来的新鞋给那个队员穿上。早年一直跟随他闹革命的习浩胜见了，开玩笑说：“二哥，我的褂子烂了，把你的衫子给我。”子文真的脱下白布衫，给了习浩胜。习浩胜笑道：“我开玩笑哩！”子文也笑：
“军中无戏言，我可是真正给你哩！”他俩推来让去，逗得游击队员都嘻嘻哈哈笑起来。
7月上旬，高岗突然以作战不力的罪名逮捕了黄子文，妄图迫害。此时，适逢谢子长、郭洪涛率中国工农红军陕北游击队总指挥部到南梁与红二十六军会合，得知此事，叫释放子文，但高岗却将子文押送南梁特委和革命委员会处理。时任革委会主席的习仲勋早在创建渭北革命根据地时期，就了解黄子文是个刚直不阿、眼难容沙的好同志，“对一些问题很有见解”、“真正是渭北革命群众的领袖”，对高岗以个人成见打击报复黄子文的恶劣行径十分清楚，遂让子文留在后方工作。
同月20日，黄子文出席了陕甘边特委四十二师党委和陕北游击总指挥部，在南梁地区的阎家洼子召开联席会议。会议总结了前期工作，传达了上海临时中央局、中央北方局的指示信，讨论了此后的工作。会议上，对高岗思想品质恶劣、作风专横、临阵脱逃等错误行为进行了严肃的批评斗争。最后，会议做出决议：撤销高岗红二十六军四十二师政委的职务，并给予留党察看三个月的处分。
8月，根据阎家洼子会议精神，为了培养干部，在南梁堡成立了“陕甘边军政干部学校”，刘志丹兼任校长，习仲勋兼任政委，吴岱峰任学员队长，黄子文、蔡子伟担任教员。子文在教学工作中，针对学员文化程度低的特点，力求做到深入浅出，生动具体，通俗易懂。离休老干部宋飞回忆起当年的学员生活时，仍对黄子文和蔡子伟满口称赞：“他俩都是知识分子，文化理论水平都很高，又有实践经验。黄子文同志讲马列主义，理论联系实际，又具体又生动，我的文化程度很低也能听懂”。