霍光未曾统兵作战，但他是大将军，儿子亲戚都拥有重兵，昭帝对他“虚己敛容”，宣帝则因“大将军光从骖乘，上内严惮之，若有芒刺在背”，也就是说，对于他的这种越礼坐车，早就心怀不满了。《汉书》也说，“霍氏秉权日久，害之者多矣”，既可以指他做的坏事太多了，也可以指痛恨他们的人太多了。
宣帝实际控制大权之后，减赋税，降低盐价，增加下级官吏的待遇。好在匈奴也在这时候分裂了，呼韩邪单于也前来投靠，西汉帝国可以减少边戍。虽然西部的羌人还不大安宁，也能够以赵充国的屯田之法对付（汉宣帝时期，西域的羌族借助匈奴的力量，攻杀西汉的官员。当时赵充国已70余岁，仍主动请战，最后一举平定叛乱。随后他奏请罢骑兵屯田，结果在西域又保持了很长时间的安定），因此历史上对于宣帝的评价颇高，有“中兴”之美名。但黄仁宇先生说，其实宣帝亲近儒生，倡导仁政，也是从武帝以来的扩充政策改变为收缩政策的结果。