河清四年（565年），年仅10岁的高纬作了北齐的皇帝，是为北齐后主。
新皇帝登基了，但旧皇帝齐武成帝高湛，也就是高纬的爸爸，此时却还没死，不但没死，他此时只有27岁，还活得健旺得很呢，不过他现在是“太上皇”。那他为何放着好好的皇帝不当，把皇位传给还是个小孩的儿子？原来，这位太上皇遇上了彗星，据说这是除旧布新之象，得换个皇帝才能行。于是他便传位给了儿子，自己做上了太上皇，也就算是上应天象吧。
这听起来颇为荒唐。但对于北齐皇室高家来说，这点小事实在算不了什么。当年齐孝昭帝高演的时候，这“除旧布新”的彗星就来过一回，于是，高演就把亲侄子高殷杀掉来“应天象”。这回高湛之所以没杀人，并不是因为他仁慈，而是他早已把亲侄子高百年杀了，此时无人可杀，只好自己退位了事。或许这一连串杀戮已经使人头晕目眩，但是，这对于高家来说就是太寻常不过的事了。北齐共传了六个皇帝，每一次帝位的交替，都伴随着刀剑和血腥，小皇帝高纬是由父亲传位给他，倒算是难得的例外了。
这就要从北齐的建立说起。当年西晋灭亡，中原进入了五胡十六国的大混乱时期，几经分分合合，最后由鲜卑族所建立的北魏统一了北方。而一代雄主魏孝文帝，更以他的汉化改革而名垂史册。但是，有一利必有一弊。魏孝文帝的改革虽然促进了经济的发展，文化的交流，却使得原为北魏军事基础的六镇军人地位降低，再加之后来政治腐败，贫富分化悬殊，终于导致六镇军人起事，引发了一场社会大动乱，北魏就在这场动乱中灭亡了。北魏灭亡后分为东西魏，但其实际统治者却是在六镇起事中成长起来的高欢和宇文泰。不久，这两个人的儿子就各自篡位建立了新王朝。高洋建立了北齐，宇文觉建立了北周。
齐文宣帝高洋即位初期，尚能励精图治，对外征伐也大多取胜。可后来却沉缅酒色，凶暴异常。他倚重的大臣杨愔，曾为北齐的强盛立下过很大功劳，还是他的内兄。他有一次却用马鞭抽杨愔背脊，抽得袍褂浸满鲜血，接着又用小刀扎进杨愔肚子里，旁边的宦官看不过，连哄带骗地才把刀子拔出来。可高洋还不甘心，又叫人将杨愔活活装进棺材，钉上铁钉，用车运了出去，算作送丧游戏。幸好杨愔命大，被人救起，才免于一死。高洋曾经宠幸过出身歌伎的薛氏姐妹。姐姐恃宠向他为父亲求官，他当下大怒，用锯子把她锯死。而那个妹妹更是没招他没惹他，只因为原先作歌伎时陪清河王高岳喝了一回酒，就惹起这位皇帝的无名醋来，先把清河王毒死，接着砍下了这个妹妹的脑袋，还拿到酒席上向群臣展示，接着把她的尸体大卸八块，用她的髀骨做成琵琶。有时皇帝又想起她来，就边弹着这个琵琶边流泪感叹：“佳人难再得呀。”这样的变态实在令人毛骨悚然。最后这个皇帝酒精中毒死掉了，他儿子高殷即位为帝。高殷本性善良懦弱，高洋怕他这个样子将来不能继位，就亲自训练他砍死囚的脑袋。可胆小的太子哆嗦了半天，砍了好几刀也没把脑袋砍下来。高洋大怒，狠狠鞭打儿子，结果把这孩子吓成了间歇性精神病。不过也的确让他父亲猜中了，高殷即位没多久，就被六叔高演废掉。当年高洋曾预料到这样的结果，对高演说，若是想夺高殷的帝位就尽管夺去，可千万别杀了他。但高演一即位马上就把这个侄儿杀了，他自己也只做了两年皇帝就暴病身亡，死时传位给自己的九弟高湛，嘱咐他善待自己的妻儿。但善良报恩这种品质绝非高家传统，高湛一即位，就立刻把高演的儿子高百年召来，让左右的侍卫一起上前对这个十四岁的孩子拳打脚踢，打得他绕堂乱跑，遍地是血，奄奄一息。这个可怜的孩子向他求饶，说宁愿作他的奴仆，高湛却不为所动，亲手杀了他，把他的尸体扔到池子里，池子里的水全都红了。他还怕这孩子没死，又到后园里亲自看着手下把他埋了。
高湛就是小皇帝高纬的父亲，他已经十分完美地把这个家族的杀戮传统展示给了这个十岁的孩子。而高纬的母亲胡皇后，则向他展示了这个家族的另一种传统——荒淫。
高湛作了皇帝，日日沉迷于酒色，胡皇后深宫寂寞，就看上了高湛的一个亲信和士开。和士开擅长一种“握槊”游戏，胡皇后说她也想学，高湛便命和士开教她。有了这样的便利条件，胡皇后经常与和士开眉来眼去，两人慢慢地就勾搭在一起。对此，高湛或有耳闻，但他此时正和文宣帝高洋的皇后李祖娥绸缪缠绵，反正他们高家的绿帽子也是互相戴，当年高洋就曾经逼奸过哥哥高澄的妻子，以报高澄生前调戏自己妻子之仇，所以他也不在乎多这么一顶，便对胡皇后与和士开听之任之，还把和士开擢升为黄门侍郎。后来高湛死了，胡太后与和士开就更加肆无忌惮。等到和士开被杀，胡太后伤心不已，百无聊赖，就又看上了一个叫昙献的和尚，二人经常在禅房私会，国库里的金银珠宝尽情搬入，甚至连高湛的龙床都搬了进去。除了昙献和尚，胡太后还勾搭了不少少年僧人，为了掩人耳目，就把他们都扮成尼姑。一次高纬入宫向母亲请安，看到有两个年轻貌美的女尼，不觉垂涎万分，便逼她们侍寝。可是两名女尼抵死不从，高纬大怒，命宫人强行脱下两人的衣服，一看，原来是两名男扮女装的少年僧人。他又惊又怒，一下子明白了母亲的秽行。便杀掉那些和尚，把胡太后迁居北宫，幽闭起来。后来北齐灭亡，胡太后流落到北周的都城长安，无以为生，竟操起皮肉生涯，做起妓女来。还不以为苦，乐在其中，声称做皇后不如做妓女来得有乐趣。如此淫荡，也真是叹为观止了。
现在高纬作了皇帝，自然有义务把他家族的种种“光荣传统”继续发扬光大。不过他这时还只是十岁的孩子，上头还有一个荒淫残暴的老爸“太上皇”，所以他倒是一直老老实实的。天统四年（568年），太上皇高湛死了，临死前握着老婆情夫和士开的手说：“不要辜负我的期望，好好扶助幼主。”和士开既然做了“托孤之臣”，自然权势日盛，大臣纷纷巴结他，甚至不知羞耻地拜他为“干爹”。有一次和士开病了，医生给他开了“黄龙汤”，其实就是存放了多年的人粪。这么恶心的东西，和士开当然不想喝。而一位来探望“干爹”的大臣为了讨好他，就说这东西并不难喝，还亲自示范给他，端起一大碗“黄龙汤”就灌下肚去。和士开大为感动，立即提拔了这位大臣。
和士开这般权势，引起了琅玡王高俨的不满。高俨是高湛的第三个儿子，从小得到父亲的宠爱，器服玩饰都和皇帝高纬一样。有一次他在高纬处见到有进贡的新冰早李，还大怒说：“我哥哥有这东西，我怎么没有。”他生性威猛，老成大度，才十二三岁就使得王公大臣都跪拜畏惧。和士开很害怕他，曾对人说琅邪王眼光凌厉逼人，自己在皇帝面前都不感到紧张，而在他面前站一会就能吓出一身大汗。高俨也特别讨厌他，看到他在修建宅第，便讽刺说：恐怕不等宅子修好，宅子的主人就要完了。他知道胡太后的妹夫冯子琮与和士开不合，便与其谋划，在深夜埋伏士兵于神兽门外，次日和士开上朝时将其抓获，并派心腹杀死了他。本来高俨原意只为杀和士开，可一开了头就收拾不住，其手下徒众拥逼他去杀后主高纬，高俨就带着禁卫军三千多人直向宫殿闯来。高纬吓得要命，叫四百兵士慌乱披甲操刀，出门抵挡。大臣斛律光赶来劝他，说他是皇帝，只要一露面，那些作乱之人就死心了。高纬依计而行，果然平息了叛乱，把高俨抓到宫中关了起来，后来又暗暗把他杀死。他又亲自用弓箭射杀高俨的徒党，肢解暴尸，以泄怒气。又把高俨的四个遗腹子也杀死了。斛律光本来为他立了大功，可由于得罪了高纬的宠臣，被诬陷为谋反，也被害死。小皇帝开始亲政，已经逐渐表现出他作为暴君和昏君的素质了。