說起他后來的官場(chǎng)經(jīng)歷，從695年到744年這段時(shí)間里，他一直待在京城里頭。中間朝堂上換過好幾任皇帝，事情也多，但他靠著自己那份率真的性格和好結(jié)交朋友的習(xí)慣，慢慢就站穩(wěn)了腳跟。別人在仕途上常有起起落落，他卻一直做著跟禮儀、圖書和太子教育相關(guān)的事。這樣的路徑在當(dāng)時(shí)很少見，主要因?yàn)樗粣劬磉M(jìn)派系爭(zhēng)斗，總是保持一種清談的風(fēng)度。

在那些年里，他還參與過朝廷的修書工作，跟一些宰相級(jí)的人物合作過。職位雖然有調(diào)整，但從來沒被調(diào)到外地或者降級(jí)。744年前后他年紀(jì)大了，身體出點(diǎn)狀況，就主動(dòng)提出要辭官回家當(dāng)?shù)朗?。朝廷那邊很快就同意了，還給了他一些特別的安排，比如把京城里的宅子改成觀，湖邊劃出一塊地讓他放生。

695年他剛中榜的時(shí)候，起點(diǎn)是國子監(jiān)那邊的博士職位，后來慢慢轉(zhuǎn)到太常那邊。開元時(shí)期他又兼過禮部和集賢院的事，負(fù)責(zé)禮制和圖書整理。738年左右他還當(dāng)過太子賓客和秘書監(jiān)，人稱賀監(jiān)。這些角色都讓他接觸到皇室的核心事務(wù)，唐玄宗有時(shí)候會(huì)問他的意見。他就這樣一步步走下來，沒有中斷。

他的詩寫得不多，但流傳下來的那幾首都很特別。尤其是回到家鄉(xiāng)后寫的兩首回鄉(xiāng)偶書，講的是離開多年再回來，口音沒變頭發(fā)卻白了，孩子們不認(rèn)識(shí)他還問客人從哪來。另一首說歲月過去人事多變，只有門前的湖水還跟以前一樣。這些詩寫得自然，讀起來就覺得時(shí)間流逝的味道很真。

744年他正式辭官那年，朝廷在東門外辦了場(chǎng)很大的送別。唐玄宗自己寫了詩，太子帶著官員們一起送行，還把大家寫的詩收成冊(cè)子送給他當(dāng)禮物。他帶著這些榮譽(yù)上路，回到了闊別多年的永興老家。家鄉(xiāng)的路還是老樣子，可是人和事已經(jīng)變了不少。他就在那里安頓下來，住在新建的千秋觀里，建了個(gè)小亭子自己待著。

回到家鄉(xiāng)的日子雖然短，但他把那份安穩(wěn)帶到了最后。744年他就在當(dāng)?shù)剡^世了，終年86歲。肅宗后來追贈(zèng)了他禮部尚書的職位，算是對(duì)他一生的認(rèn)可。這樣的結(jié)局在當(dāng)時(shí)詩人里面算得上少見，多數(shù)人都在起落中度過晚年，他卻平靜地走完了一輩子。