皇帝拿到辞呈，哦了一声，甚至没有像样地挽留，便赐给他一笔金子，体面地让他离开。永远有叠如浪涌的才子向皇帝面前挤过来，文学侍从是通向李白梦想的事业道路，但对于皇帝，只是少了一个陪玩的人而已，不是什么需要费脑筋思考的问题。
李白以为，他离中书舍人只有一步之遥。功败垂成，都是有人害他，他算来算去，害他的人一定是张垍——张垍以太常卿本官充任翰林学士，但他父亲是做过宰相的燕国公张说，自己是玄宗宠爱的女婿。在李白看来，一定是张垍嫉妒他，技不如人便靠着出身向皇帝说坏话。
但做中书舍人本来也不靠文采。这是帝国文官系统吊诡的地方，似乎文采、学问是甄选官员的标准，实际上，好文采远不如对官僚系统运作体系的熟稔。唐代授官，五品以上制授，六品以下敕授。制、敕与拜官的拜册都由尚书省相关部门拟定呈给皇帝。文官由吏部管辖，武官由兵部管辖。只有皇帝直接领导的供奉官（常常负有监察责任）如拾遗、补阙等，虽然是六品以下，由敕授，但不由吏部插手。中书省草诏，门下省审查批准，然后奏复皇帝，皇帝看过无误，便画“可”或“闻”，再转回门下省缝印，而后送尚书省执行。有时候中书省按着皇帝的意思拟出制敕，门下省审查不通过，门下省给事中可以“涂归”，“封还”中书。太宗贞观时候有名的魏征就做过给事中，曾经有封还敕书三四次不给通过，气得皇帝只能诏他御前讨论的故事。
在这样成熟的官僚系统里，皇帝喜欢一个人，想在官僚系统里给他一个职位，也需要许多人的点头同意。而这“许多人”有很多理由和方式阻止皇帝。官僚系统的分权是为国家机器能够正常运转而设，它负责过滤一意孤行的巨大危害，但同时，它也过滤特立独行的耀眼才华。
要做官，李白有许多考试可以参加：考进士，考明经，通儒家五经的，通一史的，甚至只是文章写得好的，被注意到了，与其相对应的六部二十四司具体的行政部门或者中书省都可以安排特别考试。皇帝还会在每年举办“制举”，以各种名目考试人才。
但“我不能参加任何正规的考试”这句话，李白没法告诉任何人。他年轻时绵州刺史便想要推荐他参加制举，被他以“养高忘机”为名，冷淡地拒绝了，哪怕他曾经在《秋日于太原南栅饯阳曲王赞公贾少公石艾尹少公应举赴上都序》中以羡慕的口吻送别他参加制科考试的朋友们说：擅长政务也好，擅长外交也好，都能在制举里得到好的前程。只是他，必须继续特立独行地引人注目，再极力吹捧对他表示兴趣的一切高官显贵，在这条不可能的道路上一走至黑。
他生来就被剥夺了通过考试飞黄腾达的选择：哪怕他有在正规考试里拔得头筹的才能，也根本无法通过考试之后的资格审核。参加礼部考试之前需要先参加各州贡举。各州贡举的人选必须有明确清楚的本州县籍贯。考完之后，考生需要“怀牒自陈”：带上证明家世的户籍文件，接受对选举资格的查验——考试也不是英雄不问出处。有人说，李白的父亲经商，所以作为商人他没有资格应考；但更大的可能是，李白一家根本没有户籍。
李白的身世最详细的记载来源于他的族叔李阳冰的《草堂集序》和范传正为他写的墓碑《唐左拾遗翰林学士李公新墓碑并序》（范传正这篇碑记中关于李白的生平录自李白的儿子伯禽）。李阳冰和范传正都讲到李白的先辈因为犯罪被流放，不得不改换姓名。一直到武则天神龙年间，才逃归蜀地。唐初求贤若渴，增加科举的考试科目，连能够靠门荫做官的贵族子弟也以考上进士为荣，但李白的家族直到他这代已经有五世无人做官。
李白的父亲从西域回到中原，沿魏晋时已经开通的西山路本可以在松州、茂州（今四川松潘县、茂县一带）直接南下繁华的成都，但李白一家却到松州之后向东南，定居在荒芜的绵州。李白家里对教育十分看重，在李白小的时候，父亲便严格督促他读书作文。“五岁诵六甲，十岁观百家。”“十五观奇书，作赋凌相如。”汉赋楚辞，诸子百家，博观约取。
在李白的时代，京城原本只供给皇亲国戚、高官显贵上学读书的弘文馆、太学，也已经开始招收少量的庶人。可是，望子成龙的李白父亲既没有把家搬往文教更发达的州县，李白也没有能够进入学习条件更好的京城国子学。逃归的人家没有户籍，他努力避开任何会被盘查身份户籍的活动，甚至不愿意去人口更繁多的州县安家。
同时代的诗人都在拼命考试，李白想都不能想。他只能靠拼命“特立独行”，夺人耳目。皇帝的妹妹玉真公主是个专业道姑，皇帝也是个受过道箓的修道爱好者。长安和洛阳不仅修了道教的轩辕黄帝庙，还开设了教授道教经典的崇玄学。为了再次受到关注，李白既要做个名诗人，也想做个名道士。天宝三载（744年），从长安离开后，他先去安陵（今河南鄢陵）请道士盖寰为他造了道箓，而后在齐州（今山东济南）紫极宫高天师处举行了仪式，受道箓。有了这张纸，从此他便是官方记录在册的道士，在天庭有了与自己对应的神职，有了念符咒差遣天兵天将的资格。只要他高兴，便可以腰佩桃木剑，身挂法印、策杖，穿上道袍道冠，弃俗求仙，长生不老。后来，他甚至还一本正经地头戴远游冠，腰佩豁落七元流火金铃，在曹南山造了一个炼丹房（每次李白受了委屈，灰心丧气时便要喊着“吾将营丹砂，永与世人别”去山里炼丹）。
然而，李白并没有从此老实地在得道成仙之路上耕耘，相反，他给自己规划了更周全的干谒路线。给驸马独孤明写诗，恳求“公子重回顾”；《赠崔咨议》写自己是一匹天马，只是世道翻覆，前途难料，希望崔咨议能够提携，他就能够驰骋大路；《赠裴司马》自比技术高超的秀女，但被人嫉妒陷害，生计可怜，“向君发皓齿，顾我莫相违”。
他时时回忆起那时金灿灿的殿阁上，人人都向他躬身行礼。他做了一切努力，为了再次回到皇帝身边。
只是，长安如梦里，何日是归期？