虽然金国一举灭了辽和北宋，但是金太宗完颜吴乞买手中的权力却随着领土的扩张而越来越小。根据史书记载，金太宗完颜吴乞买甚至曾经在朝堂之上被大臣们打了二十板子。那么这个记载究竟是真是假？为什么到了金太宗这一代皇权会如此衰落呢？
本来女真人起兵靠的是完颜家族，先统一女真各部，再灭辽平宋，但是完颜家族内部并非铁板一块，而是有几股大势力。在阿骨打以前，女真部落首长的传承都是兄终弟及，造成每一个当过酋长的人，子孙们都有很强大的政治势力。完颜氏除阿骨打一系外，还有阿骨打的堂兄弟们、堂叔们等很多强势家族。完颜阿骨打更多的像是这几大强势家族的掌门人，或者说是召集人，他并不像中原皇帝那样拥有绝对的权威、至高无上的权力。有事的时候，皇帝要召集各大家族、各大政治势力的领袖，大家商量着来。当然，完颜阿骨打的意见最重要，但是，他不能什么事不经商量就自己拍板决定。当时的女真人实际上处于从原始的军事民主制向国家、皇权专制过渡的过程中。阿骨打在位的时候，平衡术玩得好，他极富个人魅力和领导水平，又是一个军事天才，所以大家心服口服。阿骨打说什么，大家听什么，阿骨打指到哪里大家就打到哪里，这几大政治势力是很服从阿骨打的。
阿骨打一死，太宗吴乞买继位，事情就变了。完颜阿骨打领兵作战的时候，完颜吴乞买作为皇位继承人长期留守上京（今黑龙江阿城），没有离开过东北老家一步。他在战场上尺寸之功未立。有可能他负责后勤，安顿老家，但是毕竟没有在战场上一刀一枪拼杀过，没有流过血。其他各派就觉得你凭什么对我们指手画脚。这样，有事必须大家商量着来的传统就得到了强化。在阿骨打系统以外的家族看来，吴乞买只是阿骨打系的领导人而已，他们并不服从吴乞买。
当时女真贵族们有一个约定，国库平时谁都不能用，只有打仗的时候才能开启，而且开启国库要各个家族一致同意才行，每个人都要遵守，谁也不能例外。太宗吴乞买有一次擅自动了国库，就拿了二十匹绢。吴乞买在位的时候，上京的规模也是简陋得可怜，据说吴乞买也照样跟大臣、百姓一起下河洗澡，君臣之间坦诚相见。可能该过新年了，家属要改善一下生活，要穿新衣服，他就拿了二十匹绢，这算个事吗？但是宗翰不依不饶。按说宗翰是吴乞买的堂侄儿，论辈分那是你叔叔，论名分你是臣，人家是君。但是宗翰把祖制给抬出来了，他说咱们早说好了，国库只有打仗的时候才能开启，皇上擅自开启国库，该当何罪？群臣合议，揍吴乞买一顿。于是，朝廷之上把吴乞买扶下宝座，脱掉皇袍，乒乒乓乓抽了二十板子。揍完了皇上之后，让皇上升座，也不知道皇上刚挨完二十板子怎么能坐在那儿。宗翰带着大臣下跪磕头，死罪死罪，刚才打您对不起，但是我打您不是我因为想打您，这是祖制。由此可见，当时金国的皇权衰落，皇上拿了二十匹绢，居然能被人揍二十板子。
在吞辽灭宋的过程当中，立下战功的大将们实力越来越强，特别是西路军的统帅完颜宗翰和东路军的完颜宗望两个人实力超强。史籍记载：“诏以空名宣头百道给西南、西北两路都统宗翰，曰：‘今寄尔以方面，如当迁授必待奏请，恐致稽滞，其以便宜从事。’”（《金史太宗本纪》）金太宗完颜吴乞买在两路大军南下的时候，给宗翰一百多道空白委任状。他说你率军南下途中，如果要任免官员，等着我批准，恐怕耽误事，因为上京会宁府毕竟太偏远了，大军南下中原，什么事都要派人到黑龙江来汇报，这太不便了。朕今赐你一百多道空白委任状，你想任命谁就任命谁，不用什么事都向我汇报。皇帝手里最重要的权力就是财权、用人权和兵权，现在皇帝把用人权给了宗翰，他可以自己委任官吏。至于军权，宗翰本来就是带兵大将。财权，皇上拿二十匹绢就挨二十板子，有什么财权啊？
东西两路大军南下就形成了金国俗称的西朝廷和东朝廷，在燕京和云中设立枢密院，枢密院按照宋、辽的制度是只管军事的，但实际上，宗翰和宗望设立的两个枢密院变成了金国的两个分裂政府。金国当时一国三政府，上京一个中央政府，南京一个地方政府，西京一个地方政府。而跟宋朝打交道的主要是这两个地方政府，向宋朝提什么条件，包括宣战书都是宗翰和东路军宗望俩人一碰，商量出一个结果就执行。有时候商量出结果之后，奏报给朝廷，有的时候都不奏报给朝廷，等事发生了才报告。完颜吴乞买大权旁落，中原百姓只知有元帅，不知有朝廷。他对这一点是绝对不能容忍的。哪个皇上也不能容忍啊！