小皇帝亲政，首要的事情就是排除异己，巩固皇位，因此他杀了弟弟琅玡王高俨，又杀了功臣斛律光。敌国北周听说斛律光被杀，高兴地大赦境内。不过按照他们高家的传统，不会就杀这么几个人就算完的。接着，他又猜忌上了战功卓著的兰陵王高长恭。高长恭是高澄的第四子。此人骁勇善战，但因为相貌柔美纤丽如同女子，上阵就常带一个铁面具来威吓敌人。他曾在邙山之战辅助高湛取得大胜，武士们吟唱歌谣，名为《兰陵王入阵曲》，国人传唱，声名显著。他还谦卑下人，得到好东西，哪怕是瓜果之类的，都要和将士们分享，因此大得将士之心。于是高纬就对他猜忌起来。一次，高纬问他：“你打仗时深入敌阵，如果失利的话后悔也来不及呵。”兰陵王快人快语：“家事亲切，不知不觉就冲了进去。”这本来是效忠皇帝的话，但“家事”一词却犯了高纬的忌讳，于是派人送毒药给他。兰陵王喝药前对妻子长叹：“我忠以事上，为什么要被毒死呢。”妻子哭着劝他亲自面见皇帝诉说无罪。他却说：“天颜何由可见！”于是饮药而死。小皇帝杀戮一番，觉得异己已尽，也就渐渐安生下来。
虽然安生了，但他并没有管理国事的心思，而是要想方设法大玩特玩。皇帝要想荒唐，自然是要视钱财如粪土，看官爵比瓦砾。于是那些阿谀奉承的佞臣都被封了高官，侍奉他的宫婢都获封为郡君。他喜欢养马，亲自给马配制饲料，有十几种之多，还给公母马交配特地建造“青庐”，甚至给这些马郡守一样的名号，还得食禄。他还大肆挥霍，动辄赏赐巨万。宫女锦衣玉食者五百多人，一件裙子的花费价值万匹布，而且只穿一天就扔掉了；一个镜台也能用上千两黄金。他为宠爱的穆皇后造七宝车，载满金银到北周买珍珠。北周恰逢太后丧礼，不肯卖给他，他就更花费巨亿从别的地方买来制造宝车和裙袴。他大兴土木，而且好恶反复无常，尽管各处宫苑修得富丽堂皇，却屡毁屡修，从事建筑的工匠没有一时的休息，夜里点起火把照明施工，天冷时得用热汤和泥。又在晋阳做十二院，开凿晋阳西山塑造巨大佛像，一夜间要点燃万盆油灯，灯光可以照到宫中，劳费数亿计。如此胡闹，不久就府库积蓄匮乏，民不聊生，于是皇帝也觉得自己穷了，要做乞丐。就专门在华林园旁，设立一个贫儿村，自己穿上破衣烂衫，向人行乞，还觉得好玩得不行。他又仿照民间开设市场，自己一会儿装卖主一会儿装买主，忙得不亦乐乎。他还喜欢玩打仗游戏，画下西境一些城池的图样，依样仿造，让卫士身穿黑衣模仿北周兵攻城，他却用真正的弓箭在城上射杀这些“敌兵”。皇帝玩得高兴，真不知道天下还会有什么让人忧愁的事，便亲自创作了一支曲子，名曰《无愁》，还亲自弹奏琵琶演唱，让左右数百人唱歌跳舞来应和。于是，民间就把这皇帝叫做“无愁天子”。
不过比起他们高家前几代皇帝那些匪夷所思的暴行来，高纬这些胡闹真是太小儿科了。于是他就向自己的亲戚们“努力学习”。有人向他告发南阳王高绰的种种暴行：这个王爷在定州刺史任上荒淫残暴，无所不为。他喜欢养波斯狗，经常纵狗咬人。一次，在路上看到一个女子抱小孩，就上前从她怀中夺走孩子，丢在地上喂他的波斯狗。女子号哭，高绰大怒，又纵狗去咬她，那狗刚吃饱小孩，不去咬，他就把小孩身上的血涂抹于女子身上，众狗便一扑而上，把女子撕裂食尽。高纬听说此事，不禁对这个同父异母兄弟如此有“创意”大感佩服。于是立刻召他进京。两人一见面，高纬就迫不及待地问他在定州什么事情最好玩。高绰说把人和蝎子放在一起，看他们斗来斗去，是最有意思的事情了。高纬就派人连夜搜寻蝎子。第二天早晨，忙碌了一个晚上的侍从们好不容易捉到了两三斗蝎子，高纬把蝎子放在一个大浴盆里，然后绑了个人扔了进去，蝎子蜂拥而上，那个人被蜇得号叫翻转，哀声动天。高纬和高绰却在一旁看得津津有味，欢喜得又叫又跳。高纬还埋怨高绰：“这么好玩的事情怎么不早一点告诉我。”自此之后，他对这个兄弟喜欢得不得了，封他为大将军，让他日夜陪自己在宫中寻欢取乐。
皇帝大玩特玩，朝政就落到了一班奸佞小人的手上。高纬的宠臣有穆提婆、韩长鸾、高阿那肱等人，这三个人当时号称“三贵”。这帮人后来都上了《北齐书》的“恩幸列传”，可以想见他们大概都起了什么作用。他们陪着高纬日以继夜地酣饮歌舞，可一见朝臣就瞋目张拳，大有吃人之势。韩长鸾是鲜卑贵族，特别憎恨读书人，常常大骂朝臣为“汉狗”，说应该把他们统统杀掉。后来北齐重镇寿阳被北周军队攻陷，高纬感到十分忧惧。穆提婆就劝他，说就算尽失黄河南岸，我们还能做个龟兹国呢。人生如寄，应该及时行乐，何必白白发愁呢。这里倒和北齐的一种风俗有关系。原来当年高欢和宇文泰都是从北魏六镇兵变起家。这高欢本来是汉族人，却喜好鲜卑风俗，所重用之人也是多是鲜卑人。那些汉族士人为了进身，竟有投其所好去学鲜卑语和弹琵琶的。而出身鲜卑族的北周宇文氏，却在那里学着汉族用《周礼》定官名，仿《尚书》作制诰。这般颠倒却也好笑。所以，北齐皇室也盛行鲜卑风尚，朝野上下，一致尊崇，高纬的这帮宠臣也多是鲜卑人。不过他们之所以这么得宠，除了陪着小皇帝玩得高兴之外，还和宫中小皇帝的乳母陆令萱很有关系。
陆令萱也是鲜卑族人，因为丈夫谋反被杀而没入皇宫为婢。她巧黠多智，善于奉迎，很快就得到了齐武成帝高湛和胡皇后的信任，特意命令她做太子高纬的乳母。陆令萱自然尽心尽力，高纬也和她十分亲近，叫她“干阿妈”，对她言听计从，亲政之后，更是把宫中的事情都交给她掌管。后来高纬的母亲胡太后因为与和尚的奸情败露，让高纬关了起来，陆令萱就成为了后宫的主人。她的儿子穆提婆，也因此而由一个宫奴变成了深受皇帝宠信的朝廷大臣。于是陆令萱开始干预朝政，勾结高纬的那些宠臣大肆弄权。一时间哪怕是奴婢倡优之人，只要附和他们，都可以被封官晋爵。于是弄得吏治腐败，贿赂公行。天下开府一职的官员竟然达到一千多人，仪同官职不可胜数，仅领军就增加到二十多人。官虽多了，却因为职权不明，反而没人办事。朝廷下达的诏令和文书，二十个领军都互相推诿，最后都只在文书上照葫芦画瓢地写了个“依”字扔在一边，没人执行。陆令萱在朝廷大事上独断专行，在后宫自然就更加说一不二，就连高纬后妃的废立，都掌握在她手中。高纬的皇后斛律氏，是功臣斛律光的女儿。斛律光被诬谋反而被处死，斛律氏也就被废掉。高纬又立了胡太后的侄女为皇后，但他喜欢的却是前皇后斛律氏的侍女穆黄花。穆黄花也是个聪明的女子，知道自己出身卑贱，就拜陆令萱为母，在宫中找到了一个坚实的靠山。于是陆令萱为了提高她的地位不遗余力。让她的儿子高恒成了太子，接着又在胡太后面前进谗，让太后大怒，把胡皇后废掉。这样，穆黄花就被立为皇后，陆令萱也因为是皇后之母，被封为“太姬”，相当于一品官，班列在长公主之上。然而，在她们志得意满之际，却没有想到喜新厌旧的高纬又一次转移了目标，爱上了另外一个女子。