韦执谊最后在这篇《翰林故事》里写道，在翰林院里工作过的，还有李白，他只在翰林院里有一席之地，但具体的工作天差地别，根本算不上翰林学士。韦执谊二十多岁就成为翰林学士，他已经获得了前代诗人心念终生却不能得的，在这么年轻的时候，很难不心生骄傲庆幸。在刚过去的永贞元年（805年），四十岁不到的韦执谊做到了李白甚至只能私下想想没敢说出口的宰相，但他的荣耀与同时的“永贞革新”一样稍纵即逝。
元和元年（806年）的这个冬天，他身在遥远的崖州（今海南海口）做一个没有职权，形同坐监的司马员外置同正员。
韦执谊年轻时做翰林学士，曾经与同事一起看地图，每当看到岭南各州时，都闭目不看，命令赶紧撤下去。现在他真的来到岭南更南的海南，一无所有的时候，忽然记忆起年轻时的翰林院，右银台门右手，大明宫最西北的院廊，笼罩着如云的紫薇花。当他们骄傲地自称“紫微郎”时，没有谁知道，人竭尽全力的追求与命运漫不经心的指向总是南辕北辙。