保定六年，多位大臣、牧守以天子早已及冠，上书请让宇文护还政于天子。
奏表内含宇文护“只能掌政令，而不能掌军权”的讽刺，也暗指宇文护不是忠臣，意欲专政。
虽然宇文邕极力驳斥了这些人的上书，言自己年岁尚幼，很多事情不能理解，必须仰仗宇文护。
又说宇文护乃国之忠臣，不可擅自妄议，还下旨加食宇文护封邑，以表帝心。
但此事还是让宇文护感到了威胁。
天和四年（保定十年）
几年的时间里，随着宇文邕的年岁渐长，让宇文护执政的合法性越来越低，朝野中开始出现对他的口诛笔伐。
而这股风气愈演愈烈，这股风气中央与地方都有，大有汉末讨伐董贼的气势。
为了解决这个问题，宇文护一直想要改立新帝，但根本找不到宇文邕的一丝错处。
甚至宇文邕对待宇文护的态度和恭敬，比之自己的儿子还要顺从，让宇文护找不到动手的理由。
于是为了维护自己的威权，宇文护不得不违背本心，大肆在朝野安插忠于自己的亲信，不再如同以往量才而用。
使得之后很多宇文护任命的官员，德不配位，以权谋私。
再有宇文护的几个儿子与他性格宽厚，不贪不占不同，反而十分贪婪，不仅放纵部下，仗恃着宇文护的声威权势卖官鬻爵。
还欺上瞒下，伙同鲜卑等胡人出身的将领横行霸道，残害百姓，毫无顾忌。
自汉以来，胡人开始崛起，虽然如今依旧以汉人为主，但胡人的势力经过百余年的发展也不容小觑。
特别是因为许多胡人经过数代与诸夏文化的融合，已经完全融入了诸夏体系，行为举止除了略微豪放，已经与汉人无异。
这部分人可被称之为熟胡。
但因为北方与草原紧紧接壤，加之夏以来宽容的民族政策，使得不断有没有接受汉化的胡人担任朝廷官职。