找陈以勤帮忙这个点子，是李春芳出的，他这个人才能一般，原本政治野心倒也不大，但首辅毕竟是百官之长，坐过这个位置之后，没有人会想要主动让位。
李春芳当然也是如此，何况他自我感觉，首辅这个位置，最好不要是由高拱这种性格的人来做——锐意进取不是说不好，但过于锐意进取却未必是好事，毕竟朝廷大政明确之下，百官和和睦睦才是道理。
也是出于同样的原因，其实李春芳对于赵贞吉和张居正也不甚满意，只是相对之下，赵贞吉好歹还记得大家都是徐阁老门下之人，对自己还算尊重，而张居正却竟然背弃师恩，跑去跟高拱搅和在了一起，这就让李春芳不喜了。
而且相对来说，李春芳对高拱不喜，还只是觉得他的性格不适合做首辅，张居正那边，李春芳不喜还有另一个原因：他觉得张居正心思阴沉狠毒，这种人做首辅会是灾难。
想当初徐阶致仕，李春芳以次辅升任首辅。而徐阶致仕时，“以家国之事”托付给得意门生张居正。张居正便虎视眈眈，觊觎相位，并及时呈上施政纲领《陈六事疏》，以便争得首揆席位。因此位居末辅的张居正从来不把首辅李春芳放在眼里，“视春芳蔑如也”。
“始阶以人言罢去，春芳叹曰：‘徐公尚尔，我安能久，容计旦夕起身耳！’居正遽曰：‘如此，庶保令名！’春芳愕然。”不久，李春芳便以亲老二疏乞休，帝皆不允。如此，张居正等待首辅之位的想望落空，然而等来的却是另一位资深气盛的赵贞吉入阁。
赵贞吉“自负长辈而材，间呼居正‘张子’，有所语朝事，则曰‘唉，非尔少年辈所解’。江陵内恨，不复答。”张居正在阁深感孤立，视李春芳、赵贞吉为其仕途干进的最大障碍。于是张居正又走内线，“与中贵人李芳辈谋，召用高拱，俾领吏部，计以扼贞吉，而夺李春芳政。”此时正值隆庆觉得没有高拱在朝，自己很多事情都不如意，于是召高拱还阁为次辅，兼掌吏部事，于是高拱起复。
起复之后的高拱其实与李春芳并无直接冲突，若非要说有什么，那就是高拱在一些大事上的态度比较强硬，特别是在吏治问题上，一直十分严格。然而在李春芳看来，他既然身兼天官，在吏治上严格一点总算情有可原，只是在内阁议事之时说话不甚宛转，毕竟算不得大过。
而张居正则不同，李春芳虽然没什么脾气，但不代表没有眼力，张居正私底下的那些举动，他是看在眼里，记在心里的。对于张居正的这些举动，李春芳其实颇为惋惜，觉得张居正在徐阶门下，只学到了“阴重不泄”，却未得其精髓，结果走上了邪路。