李氏家族把持朝政，把金国内政搞得乌烟瘴气，这样的行为必然会引起很多大臣的不满。面对大臣的谴责和愤怒情绪，金章宗又会有什么反应呢？
大臣们对于李氏一党专权都很不满意。有一次章宗皇帝驾临偏殿，跟大臣们在一起读史，君臣们讨论汉高祖跟汉光武帝谁伟大。在一般人看来，肯定是汉高祖伟大呀，没有汉高祖就没有汉朝四百年江山。所以大臣们很快得出结论，高祖刘邦横刀立马，血战沙场，创立汉室，为子孙建千秋基业，是汉代最杰出的皇帝，章宗皇帝也点头称是。这时候，宰相徒单镒站起来说，臣不同意这个看法，汉光武帝比汉高祖伟大。光武帝起兵于危难之中，再造汉室，兴灭继绝，而且勤于朝政，三十多年不近酒色。他不像汉高祖，小人乍富，当了皇帝之后就声色犬马，宠信戚夫人，朝政大乱，致使诸吕篡权。宰相说得口沫飞溅，皇上脸上是红一阵白一阵。你指桑骂槐，当朕听不出来吗？你不就说我宠信李妃吗？当然，皇上毕竟是文人，修养很高，虽然心里很不痛快，但并不发作。宰相骂完，一看皇上没反应，很失落，皇上心胸真不错啊，装没听懂。不久，有个御史给皇上上表，亲贤臣，远小人，陛下一定要疏远小人，朝政才能清明。皇上看了这封奏疏之后，不知道是真糊涂还是装糊涂，让我远小人？我朝都是君子啊，没有小人。朕得问问谁是小人。你派谁去问不好？偏派李喜儿（李仁惠）去问，因为喜儿是宣徽使嘛。喜儿，去给朕问问这个御史，他说的小人是谁？李仁惠大大咧咧地就来了，天子近臣嘛，走路都横着。他见了御史就问，皇上让我问问你，谁是小人？御史回答，就是你！然后，御史拽着喜儿就到皇帝跟前来了。您不是跟我装糊涂吗？我把小人给您揪来了，就是他，你一定要远离他。皇上脸上又是红一阵白一阵。喜儿你怎么搞的？怎么把能得罪的人全给得罪了？但尽管如此，皇上也没有处罚喜儿。
本来经过海陵王时代滥杀宗室，宗室们就已经凋零了，活下来的经过郑王、镐王两案，也都夹着尾巴做人，宗室子弟大多变成几百年后女真人再入关建立清朝后的八旗子弟似的，出色的就不多了。汉族的大臣又大多数是文官，女真帝国的军事实力迅速滑向衰落。