肃宗收复长安之时，安史叛军正大败。他最信任的谋士李泌立刻建议：应该乘胜追击，直捣安禄山的老巢范阳。但肃宗更担心他皇位的合法性，在他心目中，比彻底消灭叛军更重要的有两件事：第一件，是彻底把王权从父亲手里夺下；第二件，是处置陷敌投降的官员，建立自己的威严。但那都是玄宗朝任命的官员，为了表现他的孝顺与恭敬，新皇帝必须请老皇帝亲手处置。开始时，肃宗都要先把处置官员的决定报给玄宗，请父亲定夺。直到处置投降安禄山的张均、张垍（jì）兄弟，玄宗说，我待这两兄弟不薄，张均、张垍兄弟投降叛军，还在叛军处八卦我们家的家事，罪不能赦。肃宗磕着头替两兄弟求情，自陈自己做太子时屡屡被陷害，如果不是因为两兄弟的保护，他不能有今天，如果他不能救张均、张垍兄弟的命，没法对他们死去的父亲交代。一边陈词，一边痛哭流涕。玄宗无奈只能让步，张垍流放岭南，张均必须死。不要再说了！
司马光在《资治通鉴》里记下这场景，但在纪实上更可靠的《旧唐书》却说，张垍早在长安光复前就死了，张均的处置，也全由肃宗和他的智囊团决定，全没有玄宗一锤定音的份儿。司马光采用这一段，仿佛要为玄宗保留父亲做最后决断的威严。但除去这一场真假不定的交锋，可以确定的是，回到长安之后，新皇帝住在大明宫里处理国政，玄宗很快搬回了兴庆宫：与最高权力画下道来，保持距离。
没有了权力，他至少还能有一个快乐的晚年。
老皇帝从小就爱玩，吹笛子、打羯（jié）鼓、斗鸡、走狗、打马球，样样在行。老皇帝年轻时做临淄王，那会儿吐蕃遣使迎娶金城公主，带来一支马球队，与大唐队打比赛。大唐队屡战屡败，最后李隆基看不过，换上窄袖锦衣、短靴，紧束腰带，拉着平时的玩伴下场挑战，一举赢了比赛。
做了皇帝总有更多正经事要做，甚至做梦的时候也在办公。开元中，宰相平均任职只有四年左右，他屡屡要为下一任宰相的人选操心，甚至梦里也在想。曾经有中书侍郎在值班时，半夜里被人叫醒，说是陛下终于想起来屡屡思虑而不得的那个该接替宰相一职官员的名字。中书侍郎来到寝殿，玄宗已经正襟危坐等着他。于是在长安万籁俱寂的夤（yín）夜，宫人持烛，中书侍郎跪在玄宗身前，记下皇帝在梦里终于记起的名字。草拟诏书完成，已经晨光熹微，玄宗便和衣坐着，等待暧昧的夜色渐渐淡去，等待丹凤门打开，门下省上班签发诏书。他小心翼翼地约束着自己，做个好皇帝。稍有懈怠，便有谏官章疏规劝，老皇帝把其中道理、文笔都好的文章装在金函中，有空时就读一读，如同对着镜子整理衣冠。
现在被逼退休，他有大把的时间可以留给自己：兴庆宫马厩里有三百匹马，有一块平整宽阔的球场，他还有乐队与伶人。可以打球，可以作曲，可以把被政事耽误的兴趣都再捡起来。
但老皇帝没想到，随着权力一道失去的，还有享受的肆意。