在李隆基的烟雾弹下，王毛仲的错觉越来越强烈，他似乎已经忘记了自己的身份。
不久，他向李隆基提了一个要求：想当兵部尚书。
李隆基心中一凛，不过脸上并没有表现出来。
李隆基没有发作，找了个借口拒绝了王毛仲。
放在以前，被李隆基拒绝后，王毛仲便不会再提，就当事情没有发生过。而这一次不同了，王毛仲的脸色有些不满意。
随后几天，李隆基陆续接到奏报，王毛仲对没有当上兵部尚书有些不满。
李隆基的不满也随之升级，他意识到，这个家奴已经越来越不知道天高地厚了。
与此同时，高力士也没闲着，他一直在暗中观察。经过观察，他发现，尽管李隆基拒绝让王毛仲当兵部尚书，但对王毛仲还保持了恩宠，王毛仲的妻子生子之后，还曾经由王毛仲出面借用过皇家林苑的亭子纳凉，这可是天大的面子。
高力士知道，到现在为止，李隆基还不准备废掉王毛仲，这就需要再找一个机会，再烧一把火。
机会说来就来了。
三天后，高力士奉李隆基之命去给王毛仲新出生的儿子送礼物，礼物很丰富，有酒席饭菜还有金银绸缎，另外李隆基还任命这个新生儿为五品官。
高力士很快回来了，李隆基问道：“怎么样，王毛仲高兴不？”
高力士意识到，机会来了。
高力士缓缓地说道：“王毛仲高不高兴我不知道，我只看到，他抱着孩子对我说，这个孩子难道不配当三品官吗？”
一击致命。
李隆基听后，勃然大怒：“当年诛杀韦氏时，此贼首鼠两端，我也没怪罪他，今天他居然敢因为一个小娃娃怨恨我！”高力士马上趁热打铁：“北门那些奴才，官当得太大了，而且现在都穿一条裤子、一条心，不早点处置的话，恐生大患！”
高力士这句话说到了李隆基最敏感的地方，王毛仲危矣。
不过，事到如今，李隆基也有些顾忌，毕竟王毛仲跟禁军将领打成一片，如果贸然行动，恐怕酿成大祸。
这事还是要秘密来。
就在李隆基已经决定向王毛仲下手时，太原军器监少尹严挺之（对杜甫照顾有加的严武的父亲）奏报：王毛仲曾经向我们索要铠甲兵器。
这个奏报成为压死王毛仲的最后一棵稻草。
开元十九年正月十三日，李隆基下诏：
王毛仲行为不忠，对君王抱怨，贬为瀼州（今广西上思县）别驾；
左领军大将军葛福顺，贬为壁州员外别驾；
左监门将军唐地文，贬为振州员外别驾；
右武卫将军李守德，贬为严州员外别驾；
右威卫将军王景耀，贬为党州员外别驾；
右威卫将军高广济，贬为道州员外别驾；
与王毛仲一起被贬的还有他的四个儿子，他们全部被赶出京城。
这是最差的结局吗？不是，王毛仲已经难逃一死。
失落的王毛仲走到永州时，李隆基的新命令追上了他，赐死！
辛辛苦苦二十年，一夜回到出生前。
王毛仲倒了，以他为代表的家奴势力被一网打尽，与之相对，以高力士为首的宦官势力此消彼长，成为最得宠的一群人。
这时就需要说说李隆基的可怜了，他虽富有四海，但可以信任的人却屈指可数。
亲兄弟，信不过，他把他们一个一个养起来，供起来，培养出四个不世出的贵族；
亲儿子，信不过，以子逼父的事情历史上常有，他自己就曾经干过；
外戚，信不过，皇后的龙凤胎哥哥已经被他逼死了；
故交，信不过，姜皎已经在流放的路上死去了；
家奴，信不过，王毛仲就是最好的证明。
把身边所有接触到的人排查一遍，除了信任高力士，他还能信任谁？
自此，李隆基养成了对高力士的依赖，他说：“高力士在外面值班，我才能睡得踏实。”
此后，高力士经常被李隆基留在宫中，很少去自己的外宅。
时间一长，规矩便形成了，全国各地来了奏表，一律先呈送高力士，然后由高力士呈送李隆基，事情较小的，高力士自己处理便可以了，不需再奏报李隆基。
这样一来，高力士更忙了，更是少有机会去自己的外宅。
或许有人会说，高力士反正也没有家，去不去外宅无所谓。
其实，高力士在长安有家，家中有老母麦氏，还有他的妻子吕女士。
一般而言，太监都不结婚，也就是找个宫女做伴，是为“对食”。高力士不同，他结婚了，娶的是瀛洲人吕玄晤的女儿。这笔有勇气的投资很快得到了回报，吕玄晤本人被擢升为政府直属部副部长（少卿），吕家的子弟也当上了亲王的师傅。
有吕玄晤作榜样，朝中很多人迅速向高力士靠拢，金吾卫大将军程伯献（程咬金之孙）、少府监冯绍正是其中最典型的，他们没有机会给高力士当老丈人，便努力做了高力士的兄弟，“一奶同胞”的兄弟。
高力士姓高，这两位一位姓程，一位姓冯，如何做“一奶同胞”的兄弟呢？
主要看表现。
高力士母亲麦氏去世，给了两位兄弟机会。
程伯献和冯绍正以亲儿子的身份，披头散发接受各界朋友的吊唁，哭天喊地，歇斯底里，伤心程度甚至超过自己的至亲去世。
这一切，都是高力士的权势惹的祸。
不过，高力士这个人非常精明，尽管他有权势，但不滥用，始终保持着李隆基可以容忍的度，终其一生，他与李隆基的关系真正做到了亲密无间。
相比于后世权大欺君的宦官，高力士是货真价实的忠臣。