从长安去哪里都方便。驿路从帝国的中心辐射出去，东到宋州（今河南商丘市南）、汴州（今河南开封东南），西到岐州（今陕西凤翔），路边酒店旅舍林立，有酒有肉，还有驿驴可以租借。或者走水路，洛阳是全国水道的中心，运河的起点。想去南方只需要在洛阳上船，沿通济渠到汴州，沿汴河一路东下，经过宋州、宿州（今安徽宿州），到泗州临淮再换船沿淮水到楚州（今江苏淮安），而后便能顺着漕渠到达扬州。路上的治安很不错，哪怕一个手无寸铁的普通人也可以放心遨游，更何况他是袖中藏匕首、腰上挂长剑的“武林高手”李白。
去哪里都好，独独不能回家。
李白离开长安的这年四十好几了。与他的同龄人一样，他娶过一个妻子，有两个儿子、一个女儿。孩子们的母亲是故宰相许圉师的孙女，很早便去世了。他带着孩子们从安陆（今湖北安陆）搬到东鲁兖州（今山东济宁），同居了几个妇人，都不开心。她们不满意他喝酒修道，没有收入考不了功名，整天嫌弃抱怨。鲁地儒家文化根深蒂固，在老儒生眼里他一身顽劣，连头发丝儿也透着不可救药。李白不受闲气，他嘲笑自己的同居女友是“愚妇”，又写了一首《嘲鲁儒》，为老儒生画了一张漫画：老儒生为了书上两句话的意义，熬了一头白发，你要是问他点儿跟国计民生相关的，他就满头问号，如坠烟雾。穿着的衣服如同几百年前的出土文物，动一动就一身尘土。现在的朝廷，根本不喜欢你们这样的啦！
丢下气死人的诗，李白学剑漫游，访道友，饮美酒。
作为父亲，他与儿女们相处的时间不如一同隐居修道的道士，不如“玉碗盛来琥珀光”的兰陵美酒，更不如漫游齐鲁历经的山水。他看起来像一个没心没肺的单身汉，但他也依然有一个父亲的温柔。天宝元年，李白从山中隐居归来，皇帝诏他入京的消息适时来到，他扬眉吐气地写下《南陵别儿童入京》。但在这首诗里，他也写见到久违的父亲扑上来牵住他衣角的儿女。在他这个家里，只有他每回归来都会“嬉笑牵人衣”的一双儿女值得留恋。两年过去了，他虽然带着皇帝赏赐的黄金离开长安，但依然没有谋到长久的显赫官爵。李白自然渴望与儿女团聚，但更无法忍受女友与邻居的嘲笑。
他决定往东去江南，见四百年前的谢安，三百年前的谢灵运，两百年前的谢朓（tiǎo）。他们生活在已经逝去的时间里，也生活在他的仰慕里。李白总在诗句里追赶谢朓与谢灵运的脚步。谢朓写过“朔风吹飞雨，萧条江上来”，他便要写“我吟谢朓诗上语，朔风飒飒吹飞雨”；谢朓写过“余霞散成绮，澄江静如练”，他便写“解道澄江静如练，令人长忆谢玄晖”。谢朓曾经做过宣城太守，李白把谢朓赴任的路线都摸清了，跟着走了一遍。他后来漫游江南，甚至把家安在敬亭山下谢朓故居边，“我家敬亭下，辄继谢公作。相去数百年，风期宛如昨。”他也登上宣州谢朓楼，唱“弃我去者昨日之日不可留，乱我心者今日之日多烦忧”。
在谢灵运身上，李白找到身世与际遇的共鸣。谢灵运是谢安的重侄孙，家族高门，但他自己却从小就被寄养，人人都叫他“阿客”，甚至在他无法为自己说一句的时候，他被排除在时代之外的命运便这样定下了。李白也是这个时代的客人，但他上天入地使尽浑身解数为冲破严丝合缝的选官制度罩住他的一张大网，抗议他被排除在时代主流外的命运。他像一头固执的蛮牛，必须要去撞击长安城政权中心固若金汤的圈层，但在他心底，总恋恋不忘的是他偶像们生活过的地方，他的精神故乡。
天宝六载，李白在南京。他终于远远逃开家庭的琐事与世俗的审视。但在精神自由与舐犊之情间，李白并没有他常常表现出的那样潇洒。没有酣宴与冶游时，他还是会想念起他的一双儿女。他想，离家时在屋旁种下的桃树应该已经长成，恐怕跟屋子一样高。开花的时节，小儿子伯禽与小女儿平阳也许双双在树下玩耍，小女儿折下桃花想要献给父亲，才想起来，阿爷已经有三年多不曾回家了。他寄给孩子们一首诗：
吴地桑叶绿，吴蚕已三眠。
我家寄东鲁，谁种龟阴田？
春事已不及，江行复茫然。
南风吹归心，飞堕酒楼前。
楼东一株桃，枝叶拂青烟。
此树我所种，别来向三年。
桃今与楼齐，我行尚未旋。
娇女字平阳，折花倚桃边。
折花不见我，泪下如流泉。
小儿名伯禽，与姊亦齐肩。
双行桃树下，抚背复谁怜？
念此失次第，肝肠日忧煎。
裂素写远意，因之汶阳川。
——《寄东鲁二稚子》
而后，藏起对儿女的思念，他返回梁、宋之间，往来南北的繁华埠口，总该有富，有贵，或者有他的机会。
但在李白继续他迂回曲折的“重回长安”之旅前，在离开长安的这一年，并不是纯然一无所获。天宝三载（744年），李白收获了一个新朋友——杜甫。