开元二十四年(736年)十月,玄宗在东都洛阳。原来的计划是明年二月返西京,可是因为洛阳宫中发生怪异之事,玄宗召宰相商议,打算立刻动身,离开东都。裴耀卿和张九龄都认为,眼下正是秋收季节,车驾西行,沿途各地必然安排食宿迎送,给各地造成许多麻烦和负担,等到十一月最好。李林甫已经了解到玄宗的心意,等到裴耀卿和张九龄离开,李林甫找个借口留下来,向玄宗说:“长安、洛阳,就是陛下的东宫和西宫,随时可以往来行幸,还选择什么时日啊!即便妨碍一点儿秋收,免收沿途各地的租税不就得了。让我通知百官,今天就动身。”玄宗很高兴,立刻让李林甫安排启程。第二天,车驾启程还西京。李林甫的表现让玄宗自然感到很顺心,同时也就感到张九龄有点别扭。 李林甫处处与张九龄等人唱反调,赢得了玄宗的好感,却让玄宗一天比一天地讨厌张九龄。朔方节度使牛仙客起初在河西时,节省用度,勤于职守,使河西镇仓库充实,器械精良。这件事反映到朝廷,玄宗很欣赏他,想给牛仙客加官为尚书省某部尚书,可能相当于现在国务院某部部长,或许地位还更重要一些。张九龄说:“不行。尚书是古代负责向皇帝提建议的大臣,我们唐朝建立以来,只有退职的宰相或者在朝廷内外有声望的人才能担任。牛仙客出身河湟小吏,现在一下子提拔到朝廷要职,会影响朝廷的声誉。” 玄宗奖赏边将,一心要对牛仙客有所表示,又问:“那么,只给牛仙客加个爵位可以吗?”张九龄回答说:“也不行!爵位是对立功者的鼓励,作为边将使仓库充实,器械修整,都是分内事务,不算立功。如果陛下认为他工作勤劳,可以赏赐给他金帛,而分封土地赐给爵位,恐怕不合适。”对张九龄的坚持原则,玄宗心里觉得不舒服。李林甫跟玄宗谈起牛仙客,说:“牛仙客有宰相的才干,任命他做尚书有什么不好呢!张九龄所说全是书生之见,不识大体。”在玄宗听来当然还是李林甫的话顺耳。 第二天,见到张九龄,玄宗又提起封牛仙客爵位,张九龄像原先一样极力反对。玄宗脸色大变,一下子恼火了,说:“难道事情都由你说了算吗?”一看玄宗动怒,张九龄扑通就跪下了,叩头谢罪,说:“陛下不认为我愚蠢,让我担任宰相,我觉得事有不妥,不敢不直言。”玄宗说:“你嫌牛仙客出身寒微,你的门第也不高啊!”张九龄说:“我家在岭南,出身低贱,不如牛仙客生于中原地区。但是我出入朝廷,职掌朝廷诰命已经多年。牛仙客是边境地区的小吏,大字不识,如果一下子任命为高官,我担心众人会看不起他。”李林甫背后又跟玄宗说:“只要有才能见识,不一定要什么学问和文章才华!天子任用人,什么样的人不能用!”有了李林甫的赞同,玄宗不顾张九龄的反对,赐给牛仙客陇西县公的爵位,食实封三百户,也就是把三百户农家的租赋作为牛仙客的收入。 当初,玄宗想让李林甫做宰相时,曾征求过张九龄的意见。张九龄回答说:“宰相的任命关乎国家安危。陛下要让李林甫做宰相,我担心将来会成为朝廷的祸患。”玄宗对张九龄的意见不以为然,还是任命了李林甫。那时张九龄因为富于才学而受到玄宗的器重,李林甫虽然忌恨,仍然奉迎巴结张九龄。侍中裴耀卿与张九龄关系很好,李林甫也嫉恨他。现在,玄宗在位几十年,越来越放纵自己的欲望,追求奢侈享受,对政务越来越懒得管。张九龄一看到玄宗有什么不好,不管大小事都极力论争。李林甫则巧妙地揣摩玄宗的心意,每天都在寻找机会,在玄宗面前中伤他。 玄宗当年做临淄王时,王宫里赵丽妃、皇甫德仪、刘才人等人都受到他的宠幸,赵丽妃生太子李瑛,皇甫德仪生鄂王李瑶,刘才人生光王李琚。后来玄宗即位,宠幸武惠妃,赵丽妃等人都被冷落。武惠妃所生寿王李瑁,最受玄宗疼爱。太子李瑛和李瑶、李琚几个小孩子在内第见面,都因为母亲被冷落而说了些不满的话。咸宜公主的丈夫、驸马都尉杨洄经常寻找三个孩子的过失,密告武惠妃。咸宜公主是武惠妃的女儿,所以杨洄站在武惠妃一边。武惠妃就在玄宗面前又哭又叫,说:“太子私结朋党,想害我们母子,而且还指斥皇上。”玄宗大怒,把这话告诉宰相,想把太子和鄂王、光王废掉。张九龄不同意,他认为三个皇子都没有大过,不应该听信没有根据的话,一气之下全都废黜。太子是天下之本,不可动摇,废太子可能会引起政治上的不稳定。他举了历史上许多由于废除太子而导致的内乱,因此劝玄宗慎重其事。而且他说:“陛下必欲为此,臣不敢奉诏。”——言下之意,这件事我是要跟陛下对着干了。张九龄的正直敢言又一次引起玄宗不高兴。 李林甫当众什么都不说,退朝后私下告诉受玄宗宠幸的宦官说:“这是皇上的家事,皇上自己做主就可以了,何必问外人呢?”这话当然会传到玄宗耳朵里,玄宗犹豫不决。武惠妃暗中指派在朝廷里?杂的牛贵儿,私下对张九龄说:“废太子李瑛,一定会立寿王李瑁。您只要肯帮忙,就可以一直做宰相。”张九龄喝斥这小官奴妄说是非,并把这话告诉玄宗。玄宗发现在太子问题上,实际是武惠妃在挑拨离间,脸色气得发白。因此直到张九龄后来被罢免宰相,太子的地位一直没有受到威胁。但是李林甫一天到晚都在玄宗面前说张九龄的不是,玄宗越来越疏远张九龄。