随着上官氏和霍氏决裂的消息越传越远，一直传到燕国。
燕王刘旦是武帝第三子，与广陵王刘胥是同母兄弟，是当今汉帝的哥哥。
早在武帝时期，因为太子刘据作乱，而被废弃太子之位，正当武帝在抉择谁为太子后，燕王刘旦就已经蠢蠢欲动了，甚至派出了使者前往长安，代替自己向武帝问安，同时联系朝中势力，让他们出言支持自己。
可是武帝是何种人杰，一眼就看清了他的目的，为了让其他的诸侯王打消对太子之位的觊觎，武帝直接下令将燕国使者斩杀，断绝他们的臆想。
见到武帝动刀了，刘旦一下子就老实了，什么动作都不敢做。
如今听到朝中上官桀和霍光不和，又打听到长公主又对霍光有怨恨，便知道自己的机会来了，于是派人悄悄潜入长安，与上官桀联系。
就这样，上官桀、燕王刘旦、长公主、丁外人暗地里结成了对抗霍光的政治联盟，即使他们的最终目的不一致，但是都对霍光这个挡在他们必经之路上的拦路虎产生了敌意，所以这个联盟的第一目标就是除去霍光。
由此，即使有着白氏的暗地相助，霍光还是有了些掣肘。
汉五年（始元五年）
杜延年建议行文帝时期政策，提倡节俭、对民宽和，霍光采纳，诏令三辅、太常各举“贤良”二人，各郡国察举“文学”一人。
汉六年（始元六年）
二月
霍光召集抵达京师的贤良文学，商议罢黜盐、铁、酒等专营政策。在会议上，从民间来的贤良文学与主管经济的御史大夫桑弘羊就包括盐铁等经济政策在内的武帝时期的内外政策，展开了激烈论辩。
七月
会议结束。通过这次会议，霍光成功利用贤良文学批评和打击了自己的政治对手，赢得了天下大氏族的比较广泛支持，但也使得官营政策有所收缩，罢黜了郡国酒榷和关内铁官。
为了实现自己对丁外人的承诺，也是将长公主一派拉拢到自己这边来，上官桀就派人将记录下来的霍光过失，告诉给刘旦，让他给汉帝上书告发霍光，并替丁外人求侯爵之位。
刘旦见有自己的用武之地了，很是高兴，于是一封洋洋洒洒的奏书就来到了汉帝几案前，因为之前金日磾、上官桀与霍光的关系，所以每当霍光休假外出时，就由金日磾和上官桀代替他处理国家大事。
而桑弘羊因为在武帝时期杰出的经济政策，而一直延续至今，使得他经常自夸功劳，并以此作为替子弟谋官的资本，却屡屡被霍光拒绝。