广州大致相当于现在广东省和广西的一部分，州治在今广州市，那时叫南海郡；交州大致相当于现在广西的一部分和越南的北部，州治在龙编，离现在越南河内很近。对于中原地区来说，这些都是蛮荒地区，唐朝常常把犯罪的官员流放到岭南，岭南就是这一地区。在唐朝人的心目中，那里是很可怕的，据说那里有“瘴气”，北方人不习南方水土，主要就是容易染上瘴气生病。据说唐朝那些贬到岭南的官员，常常一去不返，就死于这种瘴气。因此唐朝前期官员们都把到交、广任职视同流放。 卢绚的儿子当然不想让老父远赴交、广任职，急忙请李伯伯想办法。李林甫说了：“不想去的话，朝廷可以任命他做太子宾客，或者太子詹事，到东都任分司官，也是对贤明官员的优待，要是想去的话，那就早点提出申请。何去何从，你们商量商量吧。”儿子回到家里，告诉卢绚，卢绚担心远任交、广，要求去东都任分司官。唐朝洛阳是东都，那里有一个备用的朝廷机构，只有皇帝到了东都，这个机构才启用。而实际上从开元二十五年以后，皇帝就不到东都去了。在那个机构任职的官员叫分司官，当然是闲职。 李林甫给卢绚安排的是两难选择，到交、广任职和到东都任分司官，都有弊端。到东都任分司官，意味着政治前途的丧失，而到交、广任职，远离亲人不说，还有生命之虞。卢绚是“两害相权取其轻”，比较吉凶难卜的交、广之地，政治前途可以放弃了。李林甫又担心真的这样任命卢绚，大家会有看法，为了不招致舆论的批评，他任命卢绚为华州刺史。这样李林甫没有责任了：到东都任分司官，是你主动提出来的，那是个闲职，我不让你去，任命你担任一州刺史的要职，我李林甫爱惜人才吧。这样他把卢绚赶出朝廷的目的也达到了。 但担任州刺史还有机会回到朝廷任宰相，所谓“将帅必出于行伍，宰相必出于州郡”，州刺史政绩显著，往往入朝为相。卢绚到任不久，李林甫又借口卢绚生病，没有把华州治理好，把他改为太子詹事，就是东宫的办公室主任。本来就是闲职，又让他在家养病，只享受这个职务的待遇，实际上并不任职，这叫投闲置散。把有才能声望的人投闲置散，不让你有发挥才能的机会，这是李林甫对付竞争对手的一招。 玄宗曾问起严挺之现在何处，说这个人还是可以委以重任的。严挺之过去与张九龄亲近，现在担任绛州刺史。李林甫嫉恨严挺之，担心玄宗会任命他为宰相。当天退朝后，他就召见严挺之的弟弟严损之，说：“告诉你个好消息呀，皇上今天跟我提起你哥哥了，皇上对你哥哥看法很好，想重用他。赶快想办法让你哥哥见皇上一面。”严损之说：“他在绛州，哪有机会呀！”李林甫说：“我替他出个主意，他可以上奏朝廷，说中风了，需要回长安治病。一个刺史回到都城，皇上还有不去看望的道理？”严损之转告严挺之，严挺之想不到这是一计，就按李林甫的说法去做，一下子就钻进了李林甫的圈套。李林甫拿着严挺之的奏章，告诉玄宗说：“陛下不是想重用严挺之吗？可是您看，严挺之岁数大了，而且又得了风瘫病，不能担任要职了，应该让他担任个散秩，享受优厚的俸禄，使他有钱治病。”玄宗叹息良久，说：“唉！我正想重用他呢，想不到他现在是这个样子。” 天宝元年（742年）四月，朝廷任命严挺之为太子詹事，同时任命汴州刺史、河南采访使齐澣为太子少詹事。这都是东宫里的官，都是闲职，李林甫一向忌妒这两个人，就安排他们去任这种闲职。卢绚、严挺之和齐澣可能始终不明白自己为什么遭到这样的待遇，可是李林甫的表现又使他们很感激，以为李林甫一直在替自己着想。 在排斥异己的同时，李林甫时刻注意拉拢和扶植自己的党羽。牛仙客是经李林甫推荐而任宰相的，因此对李林甫惟命是从。这两个人都没有学术，在官场运作中没有高明的办法，而是把任何事情都纳入一定的程式，照章办事。百官的升迁和任命，都遵循严密的程式，论资排辈，即便是才华出众，品行高洁，也因为限于资格而长久不得升迁；那些巧言善媚而阴险狡诈之徒，却常常通过钻营投机旁门邪道被越级提拔，成为李林甫的朋党。 在打击和排斥异己过程中，李林甫除了诡计多端之外，就是心狠手辣。他手下有的是手段毒辣的爪牙，吉温就是这样的人。牛仙客去世后，玄宗任命刑部侍郎李适之为宰相。李适之与李林甫因权力之争，逐渐产生了矛盾。李适之担任兵部尚书，驸马都尉张垍任兵部侍郎，张垍是张说的儿子，李林甫对此也颇为不快。他指使人检举兵部铨曹贪赃舞弊的事，兵部铨曹是兵部负责本系统干部选拔的部门。御史台派人把兵部六十多名吏员抓捕，交给京兆府和御史台审讯，一连好几天问不出结果。京兆尹萧炅领会了李林甫的用意，派法曹吉温审问。兵部吏员平时就听说吉温心狠手毒，当把他们带进刑讯室时，都自诬有罪，吉温让他们怎么说，他们都老老实实地按吉温的旨意招供，片刻间此案就了结了，而检验这些囚犯，没有一个人身上有用刑的痕迹。最终，玄宗下敕赦免兵部负责铨选的侍郎和判南曹郎官，但以朝廷名义进行公开批评。这件事使兵部长官李适之和张垍很难堪。 这些有希望为相的人，在李林甫手下，简直就是一枚枚棋子，轻轻一拨，他们就偏离了入相的道路，或者一跟头栽下去，再也爬不起来，从而使李林甫心理上获得安全感。 李林甫正在千方百计清除那些不依附自己的人，想找一个鞫狱审案的合适人选，萧炅就把吉温介绍给他。李林甫得到吉温，感到非常合乎自己的要求，特别高兴。吉温平日里就放出过这样的话：“如果遇到知己，他要终南山的白额猛虎，我也能为他捆起来，送到他跟前。”当时还有一个人叫罗希奭，杭州人，作狱吏，用刑特别狠毒。李林甫重用他，把他从御史台主簿提拔到殿中侍御史。
