就在曹操回师邺县的时候，并州刺史高干果然叛乱了。
也许是兔死狐悲，高干决定铤而走险，但他选的时机很奇怪，他是建安十年（205年）十月起兵的，这时曹操刚由幽州回师邺县。
如果高干真想大干一场，应该选择在十个月前动手，那时曹军主力正激战于南皮，最少也应该比现在提前两三个月，在曹操率主力打到现如今的密云水库一带时动手。
他把叛乱的时间定在这个时候，注定不会有什么奇迹发生。
并州刺史部相当于如今的山西省大部、陕北地区以及内蒙古的河套一带，现在的太原、大同、呼和浩特、包头、榆林、延安都在其内，治所是太原郡的晋阳县（今山西太原）。由太原郡向东是上党郡，上党郡与邺县所在的冀州刺史部魏郡之间只隔着一座太行山。
上党郡太守是曹操的人，高干把他抓了起来，之后进军太行山中的军事要塞壶关，妄图以太行山为依托抵挡曹军的进攻。
壶关是太行山里的一个山口，也称壶关口或壶口关，位于如今山西省壶关县，属长治市，其北有百谷山，南有双龙山，两山夹峙，中间空断，山形像一把壶，所以称为壶关。
曹操派乐进和李典为前锋，进击
南匈奴长期以来都是袁氏集团的盟友，南匈奴单于于扶罗跟袁绍关系密切，官渡之战时，南匈奴曾派兵为袁绍助战。此时于扶罗已死，他的兄弟呼厨泉继位，呼厨泉看到曹操势力日益强大，不敢与他为敌，对于高干的请求，呼厨泉不予理睬。
高干无奈，只得带着几名随从前往荆州刘表处搬救兵，但路上被一支地方武装截住，高干就这样被杀了。这支类似于民兵或民团的武装组织其首领叫王琰，是上洛都尉。
上洛是哪里不详，或许与洛阳有关，因为高干由并州南下荆州有可能路过河洛一带，而都尉类似于县级行政区的公安局长。王琰把高干的首级呈送给曹操，立即被封了侯，受到大家的羡慕。
但据《典略》说，王琰被封侯后，有一个人非但高兴不起来，还整天待在屋里哭，她就是王琰的妻。因为她担心王琰从此将要富贵，就会娶更多的小妾，从而会夺走王琰对自己的爱（其妻哭于室，以为琰富贵将更娶妾媵而夺己爱故也）。
壶关城很坚固，久攻不下，曹操有点气恼，他下令：“城池攻破后，把他们全部活埋！”但是前后攻打了三个月，还是没有攻下。
曹仁看出了问题，他建议道：“围城的时候，最好让城里的人看到他们还有活路。现在要是让他们感觉只有死路一条，他们必然会奋力抵抗，加上敌军城固而粮多，我们硬攻必然会有很大伤亡。位于坚固的城池下，去攻打必死的敌人，不是上策（今顿兵坚城之下，以攻必死之虏，非良计也）。”
据《三国志曹仁传》记载，曹操接受了曹仁的建议，城内的敌兵很快投降了，根据曹仁前后所立的战功，他被封为都亭侯。曹仁应该还提出了具体的攻城方案，不然城里的敌兵也不会轻易投降，不过具体方案不见记载，应该是更改之前的命令，给城里的人留出一条活路，诱使敌兵投降吧。
此次西征是曹军主力在连续一年作战后，没有得到充分休整情况下进行的，加之此次多为山地作战，对擅长平原突袭的曹军来说又是一个新的挑战。这次西征并州胜负方面虽然没有大的悬念，却也打得异常艰苦。
在越过太行山区时，曹操写了一首《苦寒行》的诗，记录了行军的艰辛和自己不得已用兵的感慨，是一首军旅诗的佳作。诗中写道：
北上太行山，艰哉何巍巍！
羊肠坂诘屈，车轮为之摧。
树木何萧瑟，北风声正悲！
熊罴对我蹲，虎豹夹路啼。
溪谷少人民，雪落何霏霏！
延颈长叹息，远行多所怀。
我心何怫郁？思欲一东归。
水深桥梁绝，中路正徘徊。
迷惑失故路，薄暮无宿栖。
行行日已远，人马同时饥。
担囊行取薪，斧冰持作糜。
悲彼《东山》诗，悠悠令我哀。
曹操在诗中描述到：太行山上山高路险，车轮都能被颠坏。树林萧瑟，北风呼啸，熊和虎豹时常出没，山谷里人烟稀少。大雪纷飞，抬头仰望怎能不长长叹息。此情此景，令我心感惆怅，甚至想到了回师，为此在路上不断徘徊。已经迷失了道路，到了晚上还没有找到露营之处，人和马都饥寒交迫了，背负行囊砍柴烧火，凿开冰凌煮粥做饭，想起了那首叫《东山》的诗，又勾起了我深深的哀伤。
曹操提到的《东山》这首诗，是《诗经》中的一篇，相传为周公东征时，三年没有回过家的战士们吟出的思念家乡的诗。
从这首《苦寒行》里，我们依稀可以体会到古代作战的艰辛。那不是地图上的几个点，也不是史书上的几行字，甚至不是血和泪就能说完道尽的，那种艰苦卓绝，那种百转千回，让人忽然明白，所谓战争其实不是简单地拼武力，也不仅仅是拼智谋，拼经济基础和上层建筑，拼的是人性和毅力，是人对自己极限的挑战。