黄巾起义虽然声势浩大，但其力量相当分散，主要集中在冀州、颍川、南阳等三个地区，其他各部也只局限于本地。这就使得东汉政府有可能集中力量，各个击破。
从初期的混乱中回过神来的朝廷，以外戚河南尹何进为大将军，封慎侯，统率左右羽林、五营营士屯于都亭，以拱卫洛阳。
以卢植为北中郎将，北上冀州讨伐张角。
以北地太守，沙场宿将皇甫嵩为左中郎将，与右中郎将朱发五校，并三河骑士及招募精勇四万余人，共同讨伐离洛阳最近，对东汉政权威胁最大的颍川黄巾军波才部。
《后汉书》称皇甫嵩“温恤士卒，甚得众情，每军行顿止，须营幔修立，然后就舍帐。军士皆食，己乃尝饭。吏有因事受赂者，嵩更以钱物赐之，吏怀惭，或至自杀”，可见皇甫嵩是一位很得军心的统帅。
公元一八四年，即东汉灵帝中平元年，四月中，皇甫嵩与朱联合进攻颍川黄巾军。一开始战事并不顺利，朱被波才军击败，皇甫嵩则退保长社。当时汉军兵力薄弱，而波才军声势浩大，皇甫嵩的部下都惶恐不安。
然而黄巾军毕竟缺乏军事经验，随即被皇甫嵩抓住了破绽。他冷静地对部下们说：“战斗的胜负，不在于人数的多少，而在于兵法之奇变。你们看，黄巾军黄巾军虽然士气旺盛，但波才却缺乏军事常识，竟然在草丛旁建立营寨。如果趁月黑风高，半夜里放上一把火，敌军必定惊乱，这时候纵兵出击，必定获胜。”
于是皇甫嵩命令少数部下点燃火炬登城防守，给波才造成汉军主力忙于守城的假象。暗地里，他却组织精兵悄悄绕出包围圈外，纵火大呼，城中部队也击鼓出战，波才军大乱，四散奔走。这时恰逢被时人誉为“治世之能臣，乱世之枭雄”的骑都尉曹操奉命率军来援，朱也组织残兵合力围堵败逃的黄巾军，波才军被斩首数万人，几乎全军覆没。
这是曹操这位未来的枭雄，第一次面对真实的战争。
东汉朝廷随即以此功封皇甫嵩为都乡侯。而朱却因与宦官有隙，未得封赏。
皇甫嵩、朱乘胜进攻汝南、陈等地的黄巾余部，在阳翟再次击败波才，在西华击败彭脱，其余黄巾余部或投降，或散去，颍川、汝南、陈等三郡都被平定。
皇甫嵩归功于朱，并替他上书求赏，朝廷遂进封朱为西乡侯，迁镇贼中郎将，以皇甫嵩军进讨东郡黄巾，朱军进讨南阳黄巾。八月，皇甫嵩军在仓亭一战中击败黄巾军卜已部，生擒卜已，斩首七千余人，随即奉诏北上驰援冀州战场。
这时，冀州战场上战事并不顺利，东汉王朝虽先后派遣北中郎将卢植、东中郎将董卓指挥这一战场，但没有取得突破性的进展，双方处于僵持中。因此，当皇甫嵩军平定颍川、东郡的黄巾军后，东汉王朝立即将这支主力部队调往冀州，以期打破冀州战场上的僵持局面。
冀州黄巾由张角兄弟亲自统率，有二十万之众，是黄巾军中最为强大的战略性力量。卢植进入冀州后，与张角军连续交战多次，斩首万余人，双方僵持于广宗一带。卢植虽然没有取得决定性的胜利，但牢牢牵制住了这支强大的黄巾军，为其他战场的胜利赢得了时间。
然而以皇甫嵩在颍川的辉煌胜利为参照，东汉王朝仍对卢植不满意，派遣小黄门左丰前往冀州前线视察战况。左右劝卢植贿赂左丰，卢植不肯，于是左丰回朝后，向皇帝说坏话，称张角军易破，只是卢植不肯尽心。朝廷听信了左丰的一面之词，将卢植用囚车征送京师，另派东中郎将陇西董卓替代他指挥冀州战场。然而董卓也好不到哪里去，他随即在下曲阳之战中失利，并因此获罪——不过这次小败仗似乎并没影响到他的政治前途。
这年十月，皇甫嵩率军进入冀州巨鹿郡，与人公将军张梁部对峙于广宗。此时张角已经病死，其部队由他的弟弟张梁率领，这支部队人数众多，精锐勇猛，皇甫嵩力战无功，随即闭门拒战。张梁军多是临时招集起来的老百姓，缺乏与正规军对阵的经验，见皇甫嵩闭门拒战，逐渐松懈下来。
皇甫嵩在夜间组织好部队，于黎明时分驰突张梁军阵地，双方激战到晡时，张梁军支撑不住，大败。汉军阵斩张梁，击杀黄巾军三万余人，另有五万余人被挤入河中淹死，将士家属全部被汉军俘虏，辎重车辆被焚烧三万余辆。汉军破开张角的棺材，将尸体斩首送往洛阳示众。
广宗之战后，皇甫嵩又联合汉军巨鹿太守郭典进攻下曲阳的张宝军，斩杀张宝，俘杀黄巾军十余万人，将战死者的头颅堆积成塔，筑“京观”于下曲阳城南。
皇甫嵩因在平定黄巾军的战事中立下赫赫功劳，被东汉王朝任命为左将军，领冀州牧，加封为槐里侯，食邑八千户。皇甫嵩是个有见识的官僚，他在冀州牧任上，以民不聊生，请朝廷用冀州一年的田租赈济灾民，缓和了社会矛盾，颇得老百姓爱戴。时冀州歌谣唱到：“天下大乱兮市为墟，母不保子兮妻失夫，赖得皇甫兮复安居。”当时，皇甫嵩威震天下。
黄巾起义，敲响了东汉王朝的丧钟，然而统治者们并没有因此而觉悟。
当时海内虚困，而朝政日乱，有识之士纷纷自谋前途，原信都令阎忠游说皇甫嵩道：“难得而易失者，时也；时至不旋踵者，机也。故圣人顺时以动，智者因机以发。今将军遭难得之运，蹈易骇之机，而践运不抚，临机不发，将何以保大名乎？”如今天下大乱，时机难得，皇甫将军您在刀刃上游走，总得有个打算吧？
皇甫嵩：“啊，您说啥？俺不明白……”
阎忠：“天道无亲，百姓与能。今将军受钺于暮春，收功于末冬。兵动若神，谋不再计，摧强易于折枯，消坚甚于汤雪，旬月之间，神兵电扫，封尸刻石，南向以报，威名镇本朝，风声驰海外，虽汤、武之举，未有高将军者也。今身建不赏之功，体兼高人之德，而北面庸主，何以求安乎？”你皇甫将军威震天下，人心拥戴，然而朝廷昏暗，你立此不赏之功，很是危险啊！
皇甫嵩：“俺成天为国事操心，忠心耿耿，有啥危险的？”
阎忠：“那么，俺不妨说得更明白一点……不过你得先保证不出卖俺……想当年，韩信因为刘邦“解衣衣我，推食食我”，而不忍心背叛他，拒绝了蒯通劝他乘刘项对峙之机自立为王，放弃了三分天下的好时机，最后利剑已揣其喉时才后悔不迭。今天你皇甫将军威权重于当年的韩信，而当今皇帝的权势却远不及当年的刘项，正是独树一帜，夺取天下的好时机，可千万不能学韩信啊！”
所以，你应该“崇恩以绥先附，振武以临后服，征冀方之士，动七州之众，羽檄先驰于前，大军响振于后，蹈流漳河，饮马孟津，诛阉官之罪，除群怨之积”。
如此，“虽童儿可使奋拳以致力，女子可使褰裳以用命，况厉熊罴之卒，固迅风之士哉！功业已就，天下已顺，然后请呼上帝，示以天命，混齐六合，南面称制，移宝器于将兴，推亡汉于已坠，实神机之至会，风发之良时也。”
否则，“夫既朽不雕，衰世之朝难佐。若欲辅难佐之朝，雕朽败之木，是犹逆坂走丸，迎流纵掉，岂云易哉？且今竖宦群居，同恶如市，上命不行，权归近习，昏主之下，难以久居，不赏之功，谗人侧目，如不早图，后悔无及。”
简而言之，东汉王朝已经腐朽不堪，难以尽忠辅佐了。如今万事俱备，你皇甫将军应该趁势造反，推翻东汉王朝，取而代之。如果放弃了这个机会，今后是要后悔的！
皇甫嵩吐吐舌头，原来你是要说这个啊！其实俺扫平黄巾，也不是有多大能耐，只是对方实在太差劲而已。俺是个比较传统的人，虽然做出了些成绩，但凭这点成绩就翘尾巴，想要造反，俺觉得还是太轻率了。即便像你说的那样，得罪了朝中的宦官，要被陷害，充其量不过是罢官闲居，就算被害死了也是有好名声的，造反的事儿，俺可是不敢与闻了。
阎忠看他是个榆木疙瘩，实在不开窍，没准还会去检举揭发呢，所以回头就逃走了。他像一颗流星似的从历史的天空中划过，只留下这段精彩的说辞。
次年，边章、韩遂作乱于陇右，这年春天，朝廷遣皇甫嵩镇守长安。
却说皇甫将军先前在冀州讨伐张角时，曾路过邺城，见中常侍赵忠家的房子规格逾制——处级干部居然享受了部级干部的待遇——很看不顺眼，送捷报时顺便就告到朝廷，把人家房子给没收了。另外，张让曾找皇甫嵩要五千万钱作活动经费，他也没给。
他也不想想张让、赵忠是什么人——汉灵帝经常念叨的就是“张常侍是我父，赵常侍是我母”啊！当时他在冀州和张角对阵，朝廷正倚重他，宦官还不大敢生事儿。现在调到长安去了，宦官们就开始报复了。这两个太监向皇帝打小报告，说皇甫嵩连战无功，空耗军费，应该处分。
到了秋天，朝廷把皇甫将军征还京师，原来的封邑八千户，硬生生地扣除了六千户，左将军的印绶也给收回了，待遇又和平冀州黄巾以前一样。
在这一年不到的时间里，对皇甫嵩来说，功名确实有如梦幻。
汉魏之间的人对皇甫嵩的评价是很高的。魏太尉华歆称：“时人说皇甫嵩之不伐，汝豫之战，归功朱，张角之捷，本之于卢植，收名敛策，而己不有焉。盖功名者，世之所甚重也。诚能不争天下之所甚重，则怨祸不深矣。”