按照拥有户口的数量，唐代把天下各州分为上、中、下州，参军的品位也随着州县的重要性从七品下到从八品下不等。济州（今山东济宁附近）偏远贫穷，人烟稀少，向来是贬官的热门选择。
二十出头的王维，熟悉的是金盘脍鲤鱼、螺钿嵌琵琶、画阁朱楼燃亮夜的巨烛灯火。现在他面对的是深巷陋室，菜地、药圃、农书。他的琵琶久悬，画纸也不展了——没有知音，还显得怪神经的。也还写诗，描述请他吃饭的大爷家里的日常——“深巷斜晖静，闲门高柳疏。荷锄修药圃，散帙曝农书”——读者就是这些，不能用典太深。甚至他们能不能领悟他花许多功夫琢磨出来的，五言律诗中间两联最自得的对句，也是个问题。
但诗写得也不多，因有一份不重要，钱很少，却很繁杂的工作。他做司仓参军，负责账本和户口。管青苗，储备粮，负责地税征收、庖厨、仓库、田园、市肆。甚至，仓库里每天粮食马料进出，农民借了种子还回来的米是否足额都是他的管辖范围。
他才二十岁，已经开始想象在济州终老的惨象。想回到长安，也怕是两鬓斑白，很久很久的将来。一般的官员一年一考，四考任满，可以离任等待提拔。但他是贬官，赦免才能离开。但等待一次大赦，也不知道等到哪一年。
但大赦其实来得不晚，开元十三年（725年），玄宗东封泰山，两次大赦天下。王维也得到赦免，回到长安，等待吏部“判补”——吏部冬天铨选，考核他的政绩，再次授官。下一年，吏部叫他去河南共城县附近淇水边，做一个钱少活重又无足轻重的小官。做了一段时间，百无聊赖的王维弃官而去，隐居在终南山。终南山林壑葱郁，是隐居的好地方。同时，终南山的隐士也有关注政治的传统，朝堂上任何一点儿风吹草动都能够成为他们飞黄腾达的机遇。岐王失势了，王维必须找到提携他的下一任贵人。
王维的运气并不坏。朝堂上的政治新星是风度、文采俱佳的张九龄。这个留下“海上生明月，天涯共此时”这样名句子的诗人，因为风雅的气质，正受到皇帝最热烈的宠爱。官员上朝需要携带笏（hù）板，记录朝见君王时需要上奏的事项，也方便记下皇帝的旨意。别人上朝把笏板往腰带里一塞便上马而去，张九龄却不。因为体弱有疾，他专有一仆捧着装有笏板的囊袋跟在马后，反而从容潇洒。从此，用笏囊成了风靡长安的时尚，以至于玄宗每次见人之前都要问一句：此人风度比张九龄如何？
王维立刻献诗张九龄。他知道，与岐王一样，张九龄定然欣赏他的文学才能。果然，不久之后，他被起用做右拾遗，重新回到了长安。但他这次回来，朝中林立的山头，对峙的派别，如翻覆的棋局，正瞬息万变。