经李林甫推荐，朝廷任命萧炅为户部侍郎。萧炅没有学问，有一次跟中书侍郎严挺之读一个材料，里面有“伏腊”两字，他竟读成了“伏猎”。严挺之向张九龄抱怨说：“尚书省这样的中枢机构，怎么能任命一个‘伏猎侍郎’！”张九龄告诉玄宗，玄宗只好让萧炅出京做了岐州刺史，李林甫开始怨恨严挺之。张九龄与严挺之关系好，想举荐严挺之为宰相，曾经告诉严挺之，说：“李尚书正受皇上恩宠，足下有机会时应该去拜访他，跟他搞好关系。”当时李林甫以礼部尚书任宰相。严挺之这个人清高任性，平常就看不起李林甫的为人，始终不去巴结他，从不到李林甫门上去。李林甫更加忌恨他。 严挺之前妻嫁蔚州刺史王元琰，王元琰犯了贪污罪，朝廷交三司审判。唐代负责共同审理重大案件的三个官署刑部、御史台和大理寺，合称三司。严挺之看在前妻的情分上，为王元琰托人说情，希望能给宽大处理。李林甫让手下的人向玄宗告发此事。玄宗告诉宰相说：“严挺之竟然为罪人说情，拉关系。”张九龄说：“王元琰的妻子是严挺之休掉的妻子，不应该有私情。”玄宗说：“他们虽然已经离婚，却仍然有私情。”敢于跟皇帝抬杠，只有张九龄才这样做。 玄宗觉得既然严挺之为王元琰说情是事实，那么张九龄明显是袒护严挺之。考虑到过去张九龄、裴耀卿常常互相声援，彼此呼应，因此认定张九龄、裴耀卿和严挺之等已经结成了朋党。开元二十四年（736年）十一月二十七日，玄宗罢免了裴耀卿和张九龄的宰相职位，而让李林甫兼中书令，牛仙客为工部尚书、同中书门下三品，仍领朔方节度使。“同中书门下三品”与“同中书门下平章事”含义相同，列名宰相。同时，把严挺之贬出朝廷，任洺州刺史；王元琰则流放岭南。 在这场政治斗争中，张九龄并不是完全没有失误，他的失误被李林甫很好地利用，因此失势下台。这次宰相的调整，使张九龄、裴耀卿、严挺之几位正直而富于才学的大臣被疏远；而由于牛仙客的入相，则使李林甫的势力在朝廷里占了绝对优势。李林甫处心积虑的努力，终于达到了目的。以正直闻名的张九龄获罪降职，失掉相位，则向其他朝廷大臣发出一个信号。从此朝廷官员都明哲保身，遇事先想一想，怎么做才能保住自己的职位，至于原则是可以放弃的，所以大家都不敢搞什么“直言进谏”了。李林甫执政后决策上的失误和政治上的黑暗局面，是后来安史之乱发生的重要原因之一。 官场上向来是一荣俱荣、一损俱损的。张九龄曾推荐周子谅任监察御史。张九龄罢相后，周子谅弹劾牛仙客不是宰相的料，可是却引用迷信的说法，说牛仙客任相不吉利。玄宗亲自审问查验，命人在朝堂上杖打周子谅，把他流放瀼州(今广西上思县)。周子谅行至蓝田县，因伤势过重而一命呜呼。张九龄也因用人不当而受到牵连，被贬为荆州大都督长史。后来张九龄请求归乡拜谒父母的坟墓，在家病死。周子谅事件其实只是一个由头，张九龄被贬当然与李林甫、牛仙客等人倾陷有关。 从张九龄几次触怒玄宗的事例来看，他与玄宗的重要分歧之一表现在边防政策上。玄宗采取扩张政策，奖励边功，宠厚边将；张九龄则主张抑制边功，反对重用那些靠打仗有军功而进身的边将。这几乎是张九龄惹玄宗不高兴的主要原因。如果玄宗听取了张九龄的意见，对边将稍加裁抑的话，哪怕是提高一点儿警惕，可能安禄山也不会蕴蓄十年，坐大东北，造成“禄山一呼，四海震荡”的局面。现在看来，张九龄可能是惟一一位有可能以自己的努力阻止安史之乱发生的宰相，可惜他过早地被拔除了。张九龄与玄宗、李林甫君相间从心理上的龃龉，到言语间的磨擦，终于相违相弃，代表了帝国政治大厦的一道裂缝，这道裂缝不能弥合，给安禄山坐大创造了时机和条件。 以张九龄为代表的一批富有才学的官员，政治上比较有远见，李林甫等人虽有吏干，但缺少深谋远虑——这里指国家发展的大计，不包括个人固权保位的心计。这些人掌控一个庞大的国家机器，难以把握好大的方向，容易造成重大漏洞。后来，安史之乱发生，玄宗逃至蜀中，念及当年张九龄有先见之明，后悔没有听从张九龄的建议，伤心流涕。他派一名宦官到张九龄的家乡韶州曲江，祭奠张九龄，并对他的家人厚加赏赐。
