将领们走了，李亨也不哭了，李辅国趁机凑过来：“陛下，您看？”
李亨把手一挥：“罢了，不要问了。”
李辅国这下搞清楚了，很快，一道诏书拟出，执笔人：李辅国，诏书大意：太上皇年老多病，需要移入宫中僻静处调养，所有随行人员都要跟去照顾他老人家。
严格来说，这是一道伪诏，因为不是李亨写的，但是李亨，却没言语。
默许之下，李辅国的胆子猛地壮大三圈儿，他趾高气扬地去传旨，刚一念完，老李头儿差点眩晕，亏得高力士扶着，高力士见李辅国一付小人得志模样，心中不快，便说了他几句，意思是当初你还在我手下养马，如今连旧主都不认了？李辅国气了个倒栽，心说变天了你还那么牛？找收拾！他一甩袖子一转身，走了，留下玄宗主仆伤心落泪。
甭管怎么说也得走啊，圣旨下来了，玄宗带着高力士、陈玄礼等寥寥可数的几个人，就往深宫去，正走到睿武门，突然蹿出五百名射生，个个佩刀带箭，看样子，要动手。
射生是干吗的？
京师十六卫中的左右领军卫，称射生。
禁军当路拦住太上皇，且露刀斧，什么意思不言自明，刺杀圣驾他们断然不敢，但下马威的味道太足了，这个下马威，不是给李隆基用的，而是给高力士用的。
高力士混了好几十年，这个还看不清？他要是怕，就算白混了这么些年，就见他一提马，纵到玄宗前方，以身躯护住玄宗，厉声高叫：“五十年太平天子在此，李辅国你要怎样！”
这一声高喝中气十足，毫无惧色，李辅国此时就在禁军中，他见高力士遇强更强，不由得恼羞成怒，便也催马到了前面，鞭指高力士骂道：“老头子你好不懂事！”言外之意，到这时候了你还装？
高力士眼睛一瞪，他迎着李辅国的目光暴喝一声：“太上皇在此，辅国你还不下马！”
李辅国都气晕了，这老头儿愣不怕我？跟我顶着来？
狂怒之余，李辅国竟抽刀在手，当场斩了玄宗手下一名从人，目视高力士，一言不发。
真正的较量才刚刚开始，此刻，比得不是力，而是心。
高力士，瞳孔通红，神色自若，他看也不看地上的尸体，突然一甩缰绳，纵马跑入射生群中，迎风大呼：“众将士劳苦，太上皇问众位安康否？！”
射生们一听，都傻了，万没料到，高力士来这么一手，不回答？那叫欺君，万一以后皇帝怪罪，吃不了兜着走，怎么说人家也是父子，回头李辅国拿我们顶黑锅怎办？大家彼此一个眼色，“哗”一傢伙，全体跪倒，收刀回鞘，口称“万岁！万万岁！”
高力士猛回头，就那么盯着李辅国的脸，笑道：“请辅国与我一同与上皇牵马。”
李辅国彻底无语，这一回合，输了，同时他终于明白，高力士果真宝刀未老，实在是个劲敌，“必除之！”他心里想着，嘴上没说什么，下了马，与高力士牵着李隆基的马，老老实实走入宫中，那群本用来“惊驾”的射生，反倒成了“保驾”的卫队。
安顿完毕，李辅国气哼哼走了，李隆基一把拉住高力士的手，眼泪再也控制不住：“不是将军，朕为兵死鬼也！”高力士、陈玄礼、玉真公主等人无不落泪，尤其是高力士，泣不成声，五十年了，快五十年的君臣之谊使他们早已脱离了主仆关係，他们是兄弟，是手足，是知己，李三郎不能没有高力士，高力士更舍不得李三郎。
一个蚂蚁窝只能有一个蚁后，一个宫廷里也只能有一个首席宦官，一山容不得二虎，一家无两个主妇，很快，在李辅国的努力下，肃宗对玄宗的疑虑更深，为了能让玄宗老老实实呆在深宫，不作他想，他下诏，将玄宗身旁一切人等，全部遣散。高力士、陈玄礼、王承恩、魏悦等昔日明皇之臣，以“妖言惑上”之罪，流放远恶军州，玉真公主出家为道姑。
单说高力士，他被流放湖南黔阳县，当时称巫州，临走之前，向玄宗道别，走到宫门外，早被李辅国拦住，说什么也不让进，高力士泪流满面，他衝着昔日的养马僮作揖低眉，百般哀求，道：“我老头子确实该死，这一去不知何日归，念在昔日天子哀怜我，还望能一见颜面，虽死无恨也。”李辅国恨得牙痒，只是不听，高力士恸哭而去。
可怜一代权阉，落得如此。
到了湖南，高力士日日思念玄宗，悲不自胜，看到任何能勾起他回忆的事务，都会嗟嘆半日，左右人等无不落泪，一日吃荠菜，高力士一眼望去，又不禁悲从中来，便作诗一首：
两京作斤卖，
五溪无人采。
夷夏虽不同，
气味终不改。
这什么意思呢？荠菜是一种野菜，这种菜穷人也吃，富人也吃，穷人吃是因为买不起好菜，富人吃是因为好菜吃多了，要改口味，所以当富人想吃的时候，就去集市上买，因此“两京作斤卖”，而穷人想吃，就得自己去挖，所以“五溪无人采”，五溪，也就是指当时高力士流放的巫州地区，那意思是说，穷人想吃，便去挖，可在这巫州地区，满地荠菜却无人挖。
高力士写这首诗，暗指自己，他在表达这样一种情操：我，忠心明皇，矢志不渝。