匈奴右贤王当卫青等兵，以为汉兵不能至此，饮醉。汉兵夜至，围右贤王，右贤王惊，夜逃，独与其爱妾一人壮骑数百驰，溃围北去。
——《史记·卫将军骠骑将军列传》
由于军臣单于的太子於单南下归汉，其弟伊稚斜凭借武力征服各部后，正式成为匈奴单于，是为伊稚斜单于。为了转移内部矛盾，稳固自己的统治，伊稚斜自立为单于之后，便以汉朝收纳匈奴叛徒为由，屡次出兵南下劫掠。
元朔三年（前126年）夏，伊稚斜单于统率数万匈奴骑兵攻入代郡，杀死代郡太守恭，并掳掠一千余人。
同年秋，伊稚斜单于再度出兵侵入雁门郡，杀害和掳掠一千余人。
元朔四年（前125年）夏，伊稚斜单于又出动三万骑兵，分别侵入代郡、定襄郡和上郡，杀害和掳掠数千人。
元朔五年（前125年）冬十一月，汉武帝下诏免去薛泽的丞相职务，薛泽担任丞相数年，但既在政务方面无所作为，也无什么治国良策，唯一的优点就是本分老实听话，因此虽然无功，但也无过。
汉武帝罢免薛泽后，本欲任命公孙弘为丞相，但按照汉朝旧例，丞相通常以列侯担任，而布衣出身的公孙弘此时无爵无邑，并不符合担任丞相的要求。为此，汉武帝下诏任命公孙弘为丞相的同时，以平津乡六百五十户为食邑，加封公孙弘为平津侯。于是，公孙弘便成为了西汉历史上第一位布衣丞相，而后世以丞相封侯的实例，也始于公孙弘。
公孙弘是典型的大器晚成，当与他同龄的贾谊受到汉文帝重用之时，公孙弘还在放猪谋生，直到四十多岁时才重拾书卷，开始研习《公羊传》，直到汉武帝即位后，于建元元年（前140年）下诏求贤良，已经六十多岁的公孙弘才经举“贤良”进入朝堂，但旋即便因言论不合汉武帝心意而免官还乡，直到元光五年（前130年）才再一次经推举“贤良”入京，并在策问天人之道时被汉武帝亲自评为第一。
汉武帝亲政以后，朝廷实际上已经形成了两套班子，一个是位于皇宫内的内朝，主要由长期跟随在汉武帝身边的贤良文学、亲信宠臣和侍从组成，这些人已经成为了汉武帝最为重要的参谋团，直接参与朝政大事的决策；另一个则是以丞相府为核心的外朝，然而随着汉武帝将决策权逐渐转入内朝，丞相和御史大夫基本丧失了参与朝廷决策的权力，内朝权势逐渐盖过外朝。
公孙弘虽然也是以贤良文学入仕，早期曾多次参与朝廷决策，但他的意见却往往与汉武帝不合，例如唐蒙、司马相如开辟西南夷道，公孙弘在奉命前往视察后，却认为开通西南夷道对朝廷没有任何好处，极力反对通西南夷之策，汉武帝并未认可他的建议；又如卫青收复河南地后，主父偃上书建议设立朔方、五原两郡，巩固汉朝对该地区的统治，但公孙弘却以秦始皇当初征发三十万人在北河筑城失败为由极力反对，仍未被汉武帝所采纳。
虽然公孙弘的策略多与汉武帝不合，但汉武帝却敏锐的发现了公孙弘品行敦厚、熟悉文书吏事等优点，遂将其调出内朝，任命为了左内史，不再让其参与朝廷决策，而专司负责治理地方。
公孙弘也算不负汉武帝重托，他虽然不善于统筹全局制定国策，但作为政策的具体执行者却是一把好手，在担任左内史几年间，将京畿地区治理的井井有条。于是，汉武帝又将让他接替年老多病的张欧，出任御史大夫，并在罢免薛泽后，将其拜为丞相。毕竟，此时的丞相已经很少参与朝廷决策，而更多负责政策的执行。
不过，汉武帝没想到的是，公孙弘出任丞相后，却想要重塑以丞相为核心的外朝权威，并因此与内朝争夺决策权。他先是开辟丞相府东门作为招揽人才的场所，然后又于丞相府商议国家大事，等到上朝奏事时，便从已经议定的事项中，挑选出自认为对国家有益的，当廷禀奏朝廷。
汉武帝之所以将决策权转入内朝，为的就是不再受丞相的掣肘，因此他并不希望外朝势力太过强大。在觉察到公孙弘有意参与决策后，每当公孙弘禀奏国事，汉武帝都会命令身边的内朝大臣与公孙弘进行当廷辩论。
例如公孙弘上奏说，“十个强盗拉满了弓，便能使上百名官吏不敢向前。因此，臣请求下令禁止老百姓携带弓箭，以利于地方治安。”
侍中吾丘寿王则反驳道，“我听说古人制造矛、戟、弓、剑、戈等五种兵器，并不是为了相互攻杀，而是用来制止暴力、诛除邪恶。秦朝兼并天下，销毁天下兵器，百姓们没有了兵器，却用农具、棍棒等相互攻击，犯法之人仍然日益增多，盗贼更是防不胜防，最终大乱而亡。因此，圣明之君对百姓以教化为主，而减少防范和禁令，因为他们知道那是靠不住的。《礼记》有言，‘男孩降生，以桑弓、蓬箭射天地四方’，以表明事业所在。大射之礼，更是自三代以来，从天子到百姓都要遵守的传统。我只听说过圣明君主以射礼教化百姓的，还没听说过禁止携带弓箭的。
况且，禁止使用弓箭，是为了防止盗贼用弓箭杀人和劫掠。杀人和劫掠皆是死罪，却始终无法禁绝这类犯罪，可见那些大奸大恶之徒对于重刑根本不在乎。我担心如果禁止民间持有弓箭，这些奸恶之徒根本不会遵守，仍然会以弓箭害人，而官府却不能禁止，反倒是普通百姓会因为使用弓箭自卫而触犯法律，这岂不是助长坏人气焰，而剥夺百姓自卫权力吗？”