杜牧傳 · 第四章 「三守僻左，七換星霜」
一 短期的京官
開成四年一開春，杜牧就要準備啟程赴長安了。
這時杜牧有一個難於解決的問題，就是對於他的害眼病失明的弟弟杜□如何安置。杜牧既然要到長安去，杜□當然不能留在宣州，無人照應；如果帶他一同到長安，在長安居住，費用大，而京官俸薄，杜牧在長安又沒有產業，如何供養？恰好他們的堂兄杜慥這時正做江州刺史（江州治所潯陽縣，今江西九江市），宣州離江州不遠，如果將杜□與眼醫石公集都送到江州，請杜慥照應，並供給一切生活、醫療費用，倒是一個較好的辦法。兄弟二人商議定了，所以開成四年初春，杜牧就先送杜□與眼醫石公集赴江州，依靠堂兄杜慥。
杜牧離宣州將赴長安就任新官職時，很有感慨。他自大和二年十月隨沈傳師到江西幕中，轉宣州、揚州，中間曾一度入京為監察御史，數月後即分司東都，後來又到揚州，再入宣州幕府，首尾共歷十一年（828—838年）。回想這十一年中，飄蕩江湖，雖然不算得志，但是游賞溪山，流連詩酒，亦有耐人追憶之處，他作了一首詩：
瀟灑江湖十過秋，
酒杯無日不遲留。
謝公城畔溪驚夢，
蘇小門前柳拂頭。
千里雲山何處好？
幾人襟韻一生休？
塵冠掛卻知閒事，
終把蹉跎訪舊遊。
（《自宣城赴官上京》）
杜牧自宣州赴江州，先由陸路到長江邊，然後乘船溯江而上。當他的船到和州（治所歷陽縣，今安徽和縣）橫江渡時，和州刺史裴君偕李、趙二秀才同來迎接，杜牧作了一首七律記此事，兼寄許渾：
芳草渡頭微雨時，
萬株楊柳拂波垂。
蒲根水暖雁初浴，
梅徑香寒蜂未知。
辭客倚風吟暗淡，
使君回馬濕旌旗。
江南仲蔚多情調，
悵望春陰幾首詩。
（《初春雨中舟次和州橫江裴使君見迎李趙二秀才同來因書四韻兼寄江南許渾先輩》）
張仲蔚是漢代的隱士，好詩賦，閉門養性，不慕榮名。杜牧此詩第七句「江南仲蔚多情調」，就是借仲蔚以比許渾。許渾《丁卯集》卷上有《酬杜補闕初春雨中泛舟次橫江喜裴郎中相迎見寄》詩：
江館維舟為庾公，
暖波微淥雨濛濛。
紅檣迤邐春岩下，
朱旆聯翩曉樹中。
柳滴圓波生細浪，
梅含香艷吐輕風。
郢歌莫問青山吏，
魚在深池鳥在籠。
就是和杜牧此詩之作。許渾也是晚唐著名的詩人，他字用晦，丹陽（江蘇丹陽）人，大和六年進士及第。這時他大概正在當塗做縣令，所以詩中有「青山吏」「鳥在籠」諸語。當塗縣（安徽當塗）屬宣州，離和州不遠。
杜牧還在和州附近憑弔古蹟。這裡有烏江亭，烏江是項羽兵敗自殺之處。杜牧作了一首《題烏江亭》詩，認為項羽應當忍辱再起，不必自尋短見：
勝敗兵家事不期，
包羞忍恥是男兒。
江東子弟多才俊，
捲土重來未可知。
這裡的橫江渡口，漢末孫策率兵渡江取江東，西晉初王濬率水軍沿江東下滅吳，都從此經過。杜牧作了一首《題橫江館》詩，詠嘆當年爭王爭霸的事業都成陳跡：
孫家兄弟晉龍驤，
馳騁功名業帝王。
至竟江山誰是主，
苔磯空屬釣魚郎。
杜牧喜歡用絕句體作論史詩，李商隱也是這樣。
由和州再溯江西南行不遠，就到蕪湖（蕪湖，漢舊縣，唐代為鎮，在今安徽蕪湖縣境）。以前杜牧隨沈傳師由江西移鎮宣州時，乘船東下，曾夜泊蕪湖口，現在再宿蕪湖，想起有關沈傳師的事跡以及自己同他的情誼，而沈傳師已經逝世數年了，真是：
往事惟沙月，孤燈但客船。
峴山雲影畔，棠葉水聲前。
於是作了一首《感舊傷懷因成十六韻》的五言排律。
杜牧攜帶弟弟杜□與眼醫石公集到了江州，交給堂兄杜慥。二月中，將赴長安，臨別時，和他弟弟杜□執手而哭，勸他不必過於憂慮。
杜牧前數年在揚州幕中調京做監察御史，是乘船由運河北上，溯黃河而西，這是當時江淮一帶人士進京通常走的道路；而這一次卻走的是另外一條路，乘船溯長江、漢水，經襄陽、南陽、武關、商山而至長安。沿路有山有水，風景很好，又恰是二三月間春光明媚的時候，所以杜牧一路興致很好，作了許多首詩，描寫沿途的情事景物。他泛舟漢江時是：
溶溶漾漾白鷗飛，
綠淨春深好染衣。
（《漢江》）
他在南陽（河南南陽縣）道中時是：
綠樹南陽道，千峰勢遠隨。
碧溪風澹態，芳樹雨餘姿。
野渡雲初暖，征人袖半垂。
殘花不一醉，行樂是何時？
（《途中作》）
有一天，杜牧在南陽鄉村道中遇雨，他向道旁農家避雨，這家的主人還預備飯食殷勤招待他，也可以看出鄉村中人樸厚的感情：
春半南陽西，柔桑過村塢。
娉娉垂柳風，點點回塘雨。
蓑唱牧牛兒，籬窺蒨裙女。
半濕解征衫，主人饋雞黍。
（《村行》）
過了南陽，再向西北行，就要進入武關了。杜牧想起當年楚懷王聽信鄭袖的讒言，疏遠屈原，以至於為秦王所欺騙，詐言相會，而一入武關，秦伏兵絕其後，要劫懷王，以求割地，懷王怒，不聽，竟死於秦。這些都是千年以前的事了。現在呢？
山牆谷塹依然在，
弱吐強吞盡已空。
（《題武關》）
進入武關，就遇到商山。商山在商州（治所上洛縣，今陝西商縣）東，林壑幽邃，有七盤十二峰。這一帶山水縈迴，很不好走，每至夏秋，山澗水漲，行旅不能過，極以為苦。德宗貞元七年（791年），商州刺史李西華開闢新道，以避水潦，從商州西至藍田（陝西藍田），東到內鄉（河南內鄉），七百多里，繞山開路，人不病涉，叫作「偏路」。這條路自武關西北行五十里，到桃花鋪，又八十里到白楊店子，又八十里到麻澗，又百里到新店子，又百里到藍田縣。杜牧這次就是從「偏路」走的，經過麻澗，他很欣賞這一帶的景物：
雲光嵐采四面合，
柔柔垂柳十餘家。
雉飛鹿過芳草遠，
牛巷雞塒春日斜。
（《商山麻澗》）
商山有一個富水驛，本名「陽城驛」，與德宗時諫議大夫陽城同名。因為陽城是一位賢者，後人尊敬他，覺得這個驛名犯了他的名諱不好，憲宗元和五年（810年），元稹貶官為江陵士曹時，從此地經過，作《陽城驛》詩云：「商有陽城驛，名同陽道州。……我願避公諱，名為避賢郵。」就有想改名之意，所以後人就改名為「富水驛」。杜牧經過此地，意見不同。他認為陽城是一位清廉正直的人，當時奸佞裴延齡得到德宗的信任，誣譖大臣陸贄等，加以貶黜，沒有人敢救他們，陽城上書論裴延齡奸邪、陸贄等無罪。德宗有意用裴延齡為相，陽城公開對人說：「如果朝廷用裴延齡為相，我要取白麻毀壞了它。」並且在朝廷上慟哭以表示反對。德宗很生氣，後來終於將他貶為道州刺史。杜牧以為像陽城這樣剛直敢言反對權奸的人是很少的，正應當保留陽城驛的原名，不必改換，使得凡是來長安做官經過此驛的人，都可以聞風而警惕，於是他作了這樣一首詩：
益戇由來未覺賢，
終須南去吊湘川。
當時物議朱雲小，
後代聲華白日懸。
邪佞每思當面唾，
清貧長欠一杯錢。
驛名不合輕移改，
留警朝天者惕然。
（《商山富水驛》）
此外，杜牧還作了《入商山》《除官赴闕商山道中絕句》《題商山四皓廟一絕》諸詩篇。
大約在開成四年春末夏初的時候，杜牧來到了長安，就任左補闕、史館修撰的新職。左補闕，從七品上，掌供奉諷諫，大事廷議，小則上封事，也是一個相當清要的官職。不過，這時朝廷政局並不好，自甘露之變以後，宦官越發驕橫，此時的宰相楊嗣復等也都是庸碌之人，不能有所作為。杜牧看到這種情況，心境當然是鬱悶的。
當大和九年杜牧調進京做監察御史之時，李訓、鄭注專權，杜牧的好友李甘因反對鄭注而被貶為封州司馬，杜牧也藉口有病而分司東都。現在四年過去了，杜牧又來到長安任左補闕，李甘已經死於貶所，杜牧很想上書替李甘雪冤，但是當時朝政混濁，使杜牧仍然多所顧忌，他說：
賢者須喪亡，讒人尚堆堵。
予於後四年，諫官事明主。
常欲雪幽冤，於時一裨補。
拜章豈艱難，膽薄多憂懼。
所以只好作了一首《李甘詩》：「題此涕滋筆，以代投湘賦。」
唐文宗不甘心受制於宦官，但是他對宦官又無可奈何。他曾兩次與大臣謀劃，誅除宦官，都失敗了。自甘露之變以後，宦官更恨文宗，要加強控制，甚至於想把他廢掉，所以文宗精神很苦悶，他曾對翰林學士周墀嘆息說，自己還不如周赧王、漢獻帝，因為周赧王、漢獻帝受制於強諸侯，而自己則是受制於家奴。開成五年（840年）春正月，文宗死去。文宗臨死前，曾召宰相楊嗣復、李珏至禁中，要他們奉太子李成美監國，而宦官仇士良、魚弘志矯詔立文宗之弟潁王李瀍為皇太弟。文宗死後，李瀍即位，是為武宗，第二年改元會昌。
武宗之立，非宰相意，所以楊嗣復、李珏相繼罷去，召淮南節度使李德裕入朝，九月，至京師，遂受命為門下侍郎，同平章事。此後，終武宗之世（840—846年），六年之中，李德裕一直做宰相，很得到武宗的信任。李德裕在晚唐的宰相中是很有政治才能的，不過，他的入相，也還是宦官楊欽義之力。
開成五年，杜牧升官為膳部員外郎。膳部員外郎，從六品上，屬禮部尚書，掌管朝廷的祭器、牲豆、酒膳，辨其品數及藏冰食料之事。這一年冬天，他請假往江州潯陽，看他弟弟杜□。杜的眼病仍然醫治無效。杜牧這次請假到江州，本想把杜□帶回長安。杜□知道杜牧做京官，俸祿薄，無力供養許多人，所以回答說：「西歸長安，不是辦法，只好還是跟隨堂兄杜慥，他到哪裡，我就到哪裡。」杜牧也就暫時在潯陽住下。第二年是武宗會昌元年（841年），四月中，杜慥調任為蘄州（治所蘄春縣，今湖北蘄春）刺史，杜牧跟隨他一同到蘄州。七月，杜牧歸京師。
杜牧歸京師之後，大概不久又調任為比部員外郎，第二年，就外放了。
二 出守黃州
武宗會昌二年春天，杜牧由比部員外郎外放為黃州刺史，這時杜牧四十歲。一直到會昌四年九月，才遷池州刺史，在黃州住了兩年多。
杜牧為什麼由京官外放，史書中無有記載。據杜牧自己的推測，可能是由於宰相李德裕的排擠。杜牧《祭周相公文》中曾說：「會昌之政 ，柄者為誰？忿忍陰污 ，多逐良善。牧實忝幸，亦在遣中。黃崗大澤，葭葦之場。」所謂會昌柄政者，當然是指李德裕了。其後在李德裕執政的數年之中，杜牧由黃州刺史遷池州，始終在外州做刺史。李德裕討伐澤潞，抵抗回鶻，杜牧都曾上書論用兵方略，李德裕採納其言，但是不引用其人，顯然是很有成見的。李德裕為什麼不喜歡杜牧呢？這裡邊原因複雜，關係微妙。李、杜兩家本來是有世交的，李德裕之父李吉甫自稱「嘗為司徒吏」（《樊川文集》卷八《唐故岐陽公主墓志銘》），所謂「司徒」，就是指杜佑，而杜牧在宣州幕中寫信給李德裕，也說「某忝跡門牆」（《樊川文集》卷十六《上淮南李相公狀》），可見他們兩家關係還是相當密切的。李德裕對於杜牧的弟弟杜□很器重，屢次辟召他為幕僚，但是他為什麼獨不喜歡杜牧？可能是由於這樣幾種原因：一、杜牧雖然出身於高門世族，但是為人倜儻，不拘繩檢，與李德裕所標榜的山東士族謹守禮法的標準不合。二、當時牛、李黨爭，李德裕與牛僧孺是敵對的，而杜牧在牛僧孺淮南節度使府做過掌書記，兩人私交很好，李德裕可能認為杜牧是牛黨。三、杜牧性情剛直，抱負不凡，不肯逢迎敷衍有權勢的人，也許使李德裕覺得他難於接近。
唐代黃州又名齊安郡，管轄黃岡、黃陂、麻城三縣，治所在黃岡縣（湖北黃岡）。杜牧《黃州刺史謝上表》中說，當時黃州「戶不滿二萬，稅錢才三萬貫」，據《元和郡縣誌》，黃州，開元時戶一萬三千七十三，元和時，戶五千五十四。會昌時黃州的戶數比元和時是增加了，但是還是一個比較窮僻的小州。杜牧自出仕以來，在使府任幕職，雖有官業，不親治民，而在朝廷做監察御史及左補闕等官，都為時很短，又遇到朝政濁亂之時，也不能有所作為，現在出來做刺史，要「專斷刑罰，施行詔條」（《樊川文集》卷十五《黃州刺史謝上表》）了。在杜牧來說，第一次做親理民事的地方官，當然毫無經驗。不過，杜牧是相當關心民生疾苦的，當他二十幾歲時，游澄城縣，觀察訪問，聽說神策禁軍對於澄城縣西京畿附近人民的騷擾，非常憤慨，曾撰文記其事。還有一次，當他行路經過鄉村時，看到農民生活的窮苦，很表同情，曾作過《題村舍》這樣一首詩：
三樹稚桑春未到，
扶床乳女午啼飢。
潛銷暗鑠歸何處？
萬指侯家自不知。
這一次他自己做了親民之官，當然要盡個人力量所能辦到的，做一些有利於人民的事情。
原來黃州臨近蔡州，當淮西節度使李氏、吳氏相繼跋扈抗命之時，黃州是用兵之地，所以多用武人做刺史，軍需孔急，自不免橫徵暴斂，而胥吏亦借端漁利，於是弊政叢生。蔡州平定以後，還未能完全革除，杜牧一個一個地加以改善。譬如每逢伏臘節序，祭祀慶祝所用的酒肉及一切雜物，刺史衙門的胥吏百餘人公然向人民要，而鄉村里胥更是加十倍地勒索，人民繳納的這些東西，幾乎相當公租之半，杜牧調查出來，全都除去。黃州境內鄉正村長有三百人之多，大都是豪強充當，他們假借地位，魚肉人民，杜牧也加以甄別、清除；還有州縣吏收租時，額外加征，譬如一兩絲要加二銖，一斗粟要加一升，杜牧也將這些陋規除去。他並且告誡州縣吏，購買民間的東西要公平，人民來告狀時，要使他們能儘量陳訴自己的冤屈。杜牧到任後十六個月之內，做了這些事情。
晚唐的政治是腐敗的，當時人民所受的壓迫剝削很重，杜牧在短期的黃州刺史任上區區的改善，也只如杯水車薪，收效有限。兩年之後，杜牧離開黃州赴任池州時，作了一首《即事黃州作》詩，說到當時民生的情況是「蕭條井邑如魚尾」，《詩經·周南·汝墳》篇：「魴魚赬尾，王室如毀。」魚勞則尾赤，以比喻人民之苦於虐政。杜牧即用此句之意慨嘆當時民生的困苦。
杜□的眼病是杜牧所非常關心的。會昌二年，杜牧在京時，曾訪問一位做過虢州刺史的庾君，因為庾君也害過眼病，庾君推薦同州眼醫周師達，說他比石公集醫術更好。杜牧到黃州後，就派人以重幣卑詞迎接周師達，同他一齊到蘄州。周師達一看杜□的病，說：「眼中有赤脈。凡內障凝脂，如果有赤脈，針撥不能去，赤脈不除，施針無效。要除赤脈，必有良藥，但是我還不知道。石公集醫道淺，不明此理，妄自施針兩次，也沒有用。」周師達不施針而去。這時杜牧的堂兄杜悰新調任為淮南節度使，於是杜牧與杜□兄弟二人商議：「揚州是大郡，為天下通衢，異人術士，多游其間。現在到揚州去，正值堂兄悰為節度使，有勢力，可為久安之計，並且希望能夠遇到治好眼病的機會。」這年秋天，杜□攜家東下，住在揚州。
杜牧自二十六歲進士及第，制策登科，從事仕宦，到會昌二年已經十五年了。其中十年為幕府吏，兩度做京官，現在四十歲，做一個小州的刺史。杜牧是有政治抱負的，但是他不屑於鑽營奔走，不肯苟合取容，因此在仕途上是不得意的。他在長安時，曾拜謁御史中丞李回，送文章給他看，很得到賞識。到黃州後，杜牧回想十五年中仕宦不得意的情況，上書給李回，傾吐懷抱，書信中說：
某入仕十五年間，凡四年在京，其間臥疾乞假，復居其半。嗜酒好睡，其癖已痼，往往閉戶，便經旬日，吊慶參請，多亦廢闕。至於俯仰進趨，隨意所在，希時徇勢，不能逐人。是以官途之間，比之輩流，亦多困躓。自顧自念，守道不病，獨處思省，亦不自悔。
書信後半自述志業說：
某世業儒學，自高、曾至於某身，家風不墜，少小孜孜，至今不怠。性顓固不能通經，於治亂興亡之跡，財賦兵甲之事，地形之險易遠近，古人之長短得失，中丞即歸廊廟，宰制在手，或因時事，召置堂下，坐之與語，此時回顧諸生，必期不辱恩獎。
（《樊川文集》卷十二《上李中丞書》）
這年秋天，有一次正當涼雨初晴，菊花盛開，杜牧一個人在刺史衙署的書齋中飲酒遣悶，回思往事，也不免有許多感慨，於是作了一首《郡齋獨酌》詩，詩中最後一段也說到自己的抱負：
往往自撫己，淚下神蒼茫。
御史詔分洛，舉趾何猖狂！
闕下諫官業，拜疏無文章。
尋僧解幽夢，乞酒緩愁腸。
豈為妻子計，未去山林藏？
平生五色線，願補舜衣裳。
弦歌教燕趙，蘭芷浴河湟。
腥膻一掃灑，兇狠皆披攘。
生人但眠食，壽域富農桑。
孤吟志在此，自亦笑荒唐。
…………
由這篇書信與這首詩看來，杜牧此時心中是很憤懣的。他有才能，有抱負，承繼了祖父杜佑經世致用之學，研究「治亂興亡之跡，財賦兵甲之事，地形之險易遠近，古人之長短得失」，但是因為不能「希時徇勢」，所以宦途困躓，雖然自省不悔，而政治抱負亦不得施展。他做監察御史，又做左補闕，都迫於環境，不能有所作為，只好「尋僧解幽夢，乞酒緩愁腸」。但是他不肯歸隱山林，豈是只為貪圖官俸以養妻子呢？不是，他是有政治抱負的，他願意輔佐君主，治國安民，「平生五色線，願補舜衣裳」。他認為當時最重要的事情就是削平藩鎮，加強統一，收復河湟，鞏固邊防，即所謂「弦歌教燕趙，蘭芷浴河湟」，而最終目的是要「生人但眠食，壽域富農桑」，使人民能安居樂業，生產得以發展。這種憂國憂民的思想情懷，與杜甫的「致君堯舜上，再使風俗淳」，「窮年憂黎元，嘆息腸內熱」，是頗為相近的。
當然，杜牧這種進步的思想還是有它的局限性。杜牧究竟是封建地主階級的士大夫，所以他總是要依靠君主，對於統治者寄有幻想，他想：「平生五色線，願補舜衣裳。」事實上，晚唐君主的昏庸，政治的混濁，使人民的苦難一天一天地加深，而杜牧自己的抱負也總沒有施展的機會。事實的教訓，幻想的破滅，使他產生消極的情緒，這就是杜牧思想中的矛盾。所以就在會昌二年這一年，他又作了一首《自遣》詩：
四十已雲老，況逢憂窘餘？
且抽持板手，卻展小年書。
嗜酒狂嫌阮，知非晚笑蘧。
聞流寧嘆咤？待俗不親疏。
遇事知裁剪，操心識卷舒。
還稱二千石，於我意何如？
這首詩表現了消極的情緒，也可以說是懷才不遇、直道不容的一種牢騷。這種情緒在杜牧晚年的詩中表現得更多些。
會昌二年秋，回鶻烏介可汗騷擾北方邊境。回鶻就是回紇 ，本是突厥族的一支，8世紀中葉，國勢漸盛，其境域東西數千里，但與唐朝始終保持友好關係，曾兩度出兵幫助唐朝平定安史之亂，與唐貿易，賣馬於唐而換得唐朝的絹與茶。當唐文宗末年，回鶻境內連年天災，羊馬多死，統治階級內部又發生內亂，這時黠戛斯興起，乘機攻回鶻，大破之，把他們的牙帳幾乎燒完，回鶻諸部逃散，㕎□可汗被殺。可汗的弟弟嗢沒斯等率眾到天德軍塞下 ，請內附。會昌元年二月，回鶻餘部立烏希特勤為烏介可汗。黠戛斯破回鶻時，得唐大和公主，遣達干十人送公主回唐。回鶻烏介可汗引兵邀擊達干，盡殺之，劫公主為質，南渡大漠，屯天德軍境上，向唐求糧，並求借振武城 ，又求借天德城。烏介可汗往來於天德、振武之間，剽掠寄居塞下的党項與吐谷渾人，又屯杷頭烽北。唐朝屢次派遣使者告諭他，要他退回去，烏介可汗不予理會。會昌二年八月，烏介可汗率眾過杷頭烽南，突入大同川，轉戰到雲州（山西大同市）城門。唐朝下詔發陳、許、徐、汝、襄陽諸處兵屯太原及振武、天德，準備第二年春天擊退回鶻。
杜牧想到北方邊境人民因為回鶻統治者帶兵南下，倉皇逃難，顛沛流離，他很同情他們，寫了一首《早雁》詩：
金河秋半虜弦開，
雲外驚飛四散哀。
仙掌月明孤影過，
長門燈暗數聲來。
須知胡騎紛紛在，
豈逐春風一一回？
莫厭瀟湘少人處，
水多菰米岸莓苔。
作詩的方法是多種多樣的，杜牧所作憂時感事之詩，有許多是直陳其事，而這一首則是通體用比興之法，借雁以寄慨，以高妙的藝術表達深厚的同情，更耐人玩誦。
這一年冬天，黃州下雪，有一尺厚。杜牧又想到自己平日研究兵法，這時邊塞用兵，正是報國的機會，並且自信有具體的策略，可以制勝回鶻，但是君主與宰相不肯信任自己，有什麼辦法呢？於是作了一首《雪中書懷》詩：
臘雪一尺厚，雲凍寒頑痴。
孤城大澤畔，人疏煙火微。
憤悱欲誰語，憂慍不能持。
天子號仁聖，任賢如事師。
凡稱曰治具，小大無不施。
明庭開廣敞，才俊受羈維。
如日月□升，若鸞鳳葳蕤。
人才自朽下，棄去亦其宜。
北虜壞亭障，聞屯千里師。
牽連久不解，他盜恐旁窺。
臣實有長策，彼可徐鞭笞。
如蒙一召議，食肉寢其皮。
斯乃廟堂事，爾微非爾知。
向來躐等語，長作陷身機。
行當臘欲破，酒齊 不可遲。
且想春候暖，瓮間傾一卮。
總之，會昌二年，杜牧已經四十歲了，正當邊防多警、國家用人之際，而自己獨懷才不遇，出守江邊僻郡，有志難展。所以這年秋天，他作了好幾篇詩，憂時傷事，傾吐胸懷。因為內容的充實，情緒的激昂，所以更能動人，使他的詩境也更進一步。
會昌三年（843年）四月，昭義（又稱澤潞）節度使劉從諫卒。劉從諫臨死時，想效法河北三鎮，與諸將謀劃布置，令其侄劉稹繼任節度使。劉從諫死後，劉稹秘不發喪，逼迫監軍崔士康奏稱劉從諫疾病，請命劉稹為留後。武宗同宰相們商議澤潞之事，宰相們多以為回鶻騷擾北方，邊境還要警備，如果再討澤潞，兵力不支，請求允許以劉稹權知軍事。諫官及群臣上言者也多如此主張。宰相李德裕獨持異議，他認為澤潞事體與河北三鎮不同，河北三鎮跋扈，由來已久，累朝以來，置之度外，澤潞近處心腹，向來對朝廷忠順，劉從諫才跋扈難制。今垂死之際，又以兵權擅付豎子，朝廷如果從其所請，則四方諸鎮效法起來，統一就將完全破壞了。武宗同意李德裕的意見，不允許劉稹的請求，命他護送劉從諫之喪歸東都。劉稹抗命，於是朝廷下詔削奪劉從諫、劉稹的官爵，命河陽節度使王茂元、河東節度使劉沔、河中節度使陳夷行進兵攻討，又命成德節度使王元逵、魏博節度使何弘敬皆為招討使，與王茂元合力進攻劉稹。杜牧一向反對代宗、德宗以來朝廷姑息藩鎮的政策，而主張加強統一，削平抗命的藩鎮，所以對於這一次朝廷討伐澤潞，他是很贊同的。他上書於宰相李德裕，陳述用兵方略，他說，自己當大和二年在京為校書郎時，曾問過淮西吳氏的舊將董重質，為何當年淮西抗命時，能以三州之眾，抵抗官軍，四歲不破。董重質認為，由於朝廷徵兵太雜，諸道兵數少，不能自成一軍，必須帖附當地主軍，心志不一，故多致敗亡。現在澤潞情況卻與淮西不同。淮西抗拒朝廷，前後五十年，風習強悍，根深蒂固；而澤潞一鎮，一向忠於朝廷，經常與河北抗命的藩鎮作戰。自從劉悟死後，其子從諫要求繼任，贊同他的，只有鄆州隨來的軍隊二千人而已。寶曆以來到現在才二十多年，風俗未改，故老尚存，劉稹雖欲使之反抗朝廷，人民必不用命。杜牧認為若使河陽萬人為壘，塞天井之口（天井關在今山西晉城縣南太行山上），高壁深塹，勿與之戰，只以忠武（陳、許）、武寧（徐州）兩軍，帖以青州五千精甲，宣、潤二千弩手，直搗上黨（唐潞州治所上黨縣，今山西長治市，澤潞節度使即居此），不過數月，必定能夠覆其巢穴。（《樊川文集》卷十一《上司徒李公論用兵書》）杜牧這段論兵之言是很切於事情的，後來李德裕處置澤潞軍事，頗採用杜牧的意見。會昌三年歲暮，杜牧作了一首《東兵長句十韻》詩，詠討伐澤潞之事，最末兩句：「凱歌應是新年唱，便逐春風浩浩聲。」希望次年春初能平定澤潞。結果，會昌四年春初雖然未能告捷，但是到了秋天，澤潞節度所屬的邢、洺、磁三州都降了官軍，澤潞大將郭誼殺劉稹降，澤潞平。
杜牧在黃州兩年多的時間，心境是很鬱悶孤寂的。他除去憂念國事、自傷不遇之外，也還常常想起自己的家人與朋友。當他初到黃州的那一年，也就是會昌二年，冬至日作了一首詩，寄小侄阿宜。阿宜究竟是杜牧哪一位堂兄弟的兒子，已不可考。杜牧這首詩一開頭描述阿宜，頗有風趣：
小侄名阿宜，未得三尺長。
頭圓筋骨緊，兩臉明且光。
去年學官人，竹馬繞四廊。
指揮群兒輩，意氣何堅剛！
今年始讀書，下口三五行。
隨兄旦夕去，斂手整衣裳。
以下又夸述家世，勉勵阿宜好好地讀書：
我家公相家，劍佩嘗丁當。
舊第開朱門，長安城中央。
第中無一物，萬卷書滿堂。
家集二百編，上下馳皇王。
多是撫州寫，今來五紀強。
尚可與爾讀，助爾為賢良。
經書括根本，史書閱興亡。
高摘屈宋艷，濃熏班馬香。
李杜泛浩浩，韓柳摩蒼蒼。
近者四君子，與古爭強梁。
願爾一祝後，讀書日日忙。
一日讀十紙，一月讀一箱。
朝廷用文治，大開官職場。
願爾出門去，取官如驅羊。
…………
大明帝宮闕，杜曲我池塘。
我若自潦倒，看汝爭翱翔。
總語諸小道，此詩不可忘。
（《冬至日寄小侄阿宜詩》）
杜牧夸述家世，除去提出「公相家」「劍佩丁當」之外，特別寫家中「萬卷書滿堂」，又鄭重點出：「家集二百編，上下馳皇王。多是撫州寫，今來五紀強。」這就是指的杜佑所撰著的《通典》，一直藏在家中，還是杜佑做撫州刺史時寫錄的清本，到這時已有六十多年了。可見杜牧認為祖宗事業中可以誇耀的不僅是官位之高，而且還有這種經世致用的偉著。他教阿宜讀經史以及文學書籍，對於本朝作家，特別推重李、杜、韓、柳，認為他們可以「與古爭強梁」，這也是杜牧相當正確的見解。不過，他詩中勉勵阿宜「取官如驅羊」，這又透露了高門世家子弟庸俗的思想。
上文曾經提到，杜牧與李方玄是很好的朋友。開成五年春，杜牧出京赴江州時，李方玄曾給他餞行。會昌元年七月，杜牧復返長安，李方玄已經出為池州刺史。他出官之由是「勇於為義」（《樊川文集》卷十三《上池州李使君書》），大概也是因為直道不容於朝廷而外放的。會昌二年，杜牧在黃州寫了一封長信給李方玄（《樊川文集》卷十三《上池州李使君書》），在這封信中，杜牧向知己的朋友傾吐懷抱，發抒憤慨。信中一開頭就說：
仆之所稟，闊略疏易，輕微而忽小，然其天與。其心知邪柔利己，偷苟讒諂，可以進取。知之而不能行之，非不能行之，抑復見惡之，不能忍一同坐與之交語。故有知之者，有怒之者。怒不附己者，怒不恬言柔舌道其盛美者，怒守直道而違己者；知之者皆齒少氣銳，讀書以賢才自許，但見古人行事真當如此，未得官職，不睹形勢，潔潔少輩之徒也。怒仆者足以裂仆之腸，折仆之脛；知仆者不能持一飯與仆。仆之不死已幸，況為刺史，聚骨肉妻子，衣食有餘，乃大幸也，敢望其他？
在這段話中，杜牧說明他生平性情剛直，厭惡邪柔讒諂，不肯媚世苟合以求進取，因此有怒之者，有知之者。怒之者多是有權位有勢力的人，可以排擠壓抑他，而知之者則是「齒少氣銳」「未得官職，不睹形勢」的「少輩」，不能對他有所幫助。以杜牧這樣耿介的人，在當時官場中，他覺得做一個僻左小郡的刺史已經是很幸運了，還敢希望其他的嗎？這一段話充滿了憤世嫉俗之思。下邊杜牧又談到他們二人「齒各甚壯，為刺史，各得小郡」，「有衣食，無為吏之苦」，應當勉勵為學。
杜牧的書信中提到自己二十多年來所留心的學問：
仆自元和已來，以至今日，其所見聞，名公才人之所論討，典刑制度，征伐叛亂，考其當時，參於前古，能不忘失而思念，亦可以為一家事業矣。但隨見隨忘，隨聞隨廢，輕目重耳之過，此亦學者之一病也。
杜牧所注重的是典章制度之學，要「考其當時，參於前古」，也就是通貫古今，以求實用，仍然是他祖父杜佑撰著《通典》的家學傳統。
黃州是「葭葦之場」，杜牧在這裡很寂寞，朋友的書信也不多，而李方玄常常給杜牧寫信，他的信總是情辭懇摯，對杜牧多所規誡勸勉，使杜牧很受感動。會昌五年李方玄死後，杜牧給他作的祭文中還提到李方玄的信是「辭意纖悉，勉我自強。筆我性情，補短裁長。一函每發，沉憂並忘」（《樊川文集》卷十四《祭故處州李使君文》）。
大約在會昌四年，杜牧又想起了久未會晤的舊友韓乂。韓乂，越州（治所在今浙江紹興市）人，杜牧在沈傳師幕中的舊同事。大和八年，杜牧有事到越州，曾會見他，欣佩他恬淡的志操，到現在差不多十年沒有見面了，很懷念他，於是作了一首詩寄給他：
一笑五雲溪上舟，
跳丸日月十經秋。
鬢衰酒減欲誰泥？
跡辱魂慚好自尤。
夢寐幾回迷蛺蝶？
文章應廣《畔牢愁》。
無窮塵土無聊事，
不得清言解不休。
（《寄浙東韓乂評事》）
黃州附近有些名勝、古蹟，杜牧也曾去遊玩。在黃州城東南有一條河，名叫蘭溪，即是今日的浠水，源出今湖北英山縣，西南流入長江，入江之處是蘭溪鎮，距離黃州城約七十里。蘭溪鎮東一里多路，有竹林磴，為箬竹山群峰之一，那裡生長著許多蘭花。當春天蘭花盛開的時候，杜牧曾來遊玩。他因蘭花而想到屈原，屈原本有改善楚國政治的抱負，但是忠而得謗，信而見疑，被楚王流放於江南。杜牧同情屈原，感傷自己，作了一首《蘭溪》詩：
蘭溪春盡碧泱泱，
映水蘭花雨發香。
楚國大夫憔悴日，
應尋此路去瀟湘。
黃州城西北百五十里有木蘭山，南齊時曾在此設縣，名木蘭縣，梁朝改名曰梁安縣，隋又改為木蘭縣，唐朝併入黃岡縣。北朝有一首民間故事詩，名《木蘭詩》，寫木蘭女扮男裝，代父從軍，在塞外征戰十二年勝利歸來的英勇故事。木蘭是北方人，本與黃州無關，大概在木蘭故事流傳之後，有好事者，因木蘭山木蘭縣之名與木蘭相同，於是加以附會，立廟於此，以祀木蘭。杜牧也曾來此游賞，作了一首《題木蘭廟》詩：
彎弓征戰作男兒，
夢裡曾經與畫眉。
幾度思歸還把酒，
拂雲堆上祝明妃。
杜牧在黃州兩年多的時間內，也常作些寫景抒情的小詩，在這些詩中也可以看出杜牧日常的生活。黃州雨量大概是不小的，所以杜牧的詩中常常提到雨。有時在連雨沉悶的日子裡，他只好以飲酒自遣，他在《雨中作》這首詩中說：
賤子本幽慵，多為俊賢侮。
得州荒僻中，更值連江雨。
一褐擁秋寒，小窗侵竹塢。
濁醪氣色嚴，皤腹瓶罌古。
酣酣天地寬，恍恍嵇劉伍。
但為適性情，豈是藏鱗羽？
有時當晚秋之際，他也抒寫一些閒逸之思：
柳岸風來影漸疏，
使君家似野人居。
雲容水態還堪賞，
嘯志歌懷亦自如。
雨暗殘燈棋欲散，
酒醒孤枕雁來初。
可憐赤壁爭雄渡 ，
唯有蓑翁坐釣魚。
（《齊安郡晚秋》）
這首詩中有「雨暗殘燈棋欲散」之句，可見杜牧有時也喜歡下圍棋消遣。他有一首《送國棋王逢》詩，其中有「得年七十更萬日」句，宋馬永卿因此推算杜牧作此詩時年四十二三（《嬾真子》卷四），可能也就是在黃州刺史任上所作。詩是這樣的：
玉子紋楸一路饒，
最宜檐雨竹蕭蕭。
羸形暗去春泉長，
拔勢橫來野火燒。
守道還如周伏柱，
鏖兵不羨霍嫖姚。
得年七十更萬日，
與子期於局上銷。
這首詩稱讚國手王逢棋藝的高妙，也表達了杜牧對於下棋的體會。他主張下棋應當用老子道家之術，如欲取先予、以退為進、以柔克剛等等策略，制服對方，而不可以像霍去病作戰時那樣短兵相接，硬殺硬打，這也是很有心得的話。杜牧也有時流連光景，作一些描寫景物的絕句：
菱透浮萍綠錦池，
夏鶯千囀弄薔薇。
盡日無人看微雨，
鴛鴦相對浴紅衣。
（《齊安郡後池絕句》）
兩竿落日溪橋上，
半縷輕煙柳影中。
多少綠荷相倚恨，
一時回首背西風。
（《齊安郡中偶題》）
杜牧觀察力銳敏，善於捕捉自然景物中美的形象，用絕句體的小詩加以描寫，含蓄精練，情景交融，在短短的兩句或四句詩中，寫出一個完整而幽美的景象，宛如一幅畫圖。所以杜牧的七言絕句詩也是很有名的，許多情韻清美、意境深遠的篇章為後人所傳誦。黃州離長安有數千里之遠，杜牧有時登在城樓上，憑欄而望，不免觸動思鄉的情緒：
鳴軋江樓角一聲，
微陽瀲瀲落寒汀。
不用憑欄苦回首，
故鄉七十五長亭。
（《題齊安城樓》）
杜牧在黃州做刺史時，感觸多端，心情抑鬱，黃州又多雨，更使他覺得沉悶。黃州小郡，公務不忙，杜牧在無聊中很想在學問方面有所努力。後來他離開黃州，還常回憶這兩年多的生活：
平生睡足處，雲夢澤南州。
一夜風欺竹，連江雨送秋。
格卑常汩汩，力學強悠悠。
終掉塵中手，瀟湘釣漫流。
（《憶齊安郡》）
總之，杜牧在黃州，仕宦不得志，政治抱負也不能施展，而在詩歌創作上則頗有收穫。內容是多方面的，或感慨國事，發布壯懷；或抒寫閒情，描繪景物；或思念親友，遠寄篇章；或弔古覽勝，藉以自慨。體裁也是多樣的，有長篇五古，有絕句小詩，也有工整的律體。所以這兩年多的時間，是杜牧詩歌創作較多的時期。
當杜牧很不得意地在黃州做刺史時，他的堂兄杜悰卻是官運亨通。會昌四年閏七月，杜悰由淮南節度使入為守尚書右僕射，兼門下侍郎、同平章事，仍判度支，充鹽鐵轉運使。他做宰相約十個月，到會昌五年五月，罷為尚書右僕射。至於杜牧的弟弟杜，則仍然住在揚州。
三「繼來池陽」
會昌四年九月，杜牧由黃州遷池州刺史，這一年他四十二歲。
唐代池州又名池陽郡，管轄四縣：秋浦、青陽、至德、石埭。池州治所秋浦縣（安徽貴池），沿長江，在黃州之東。池州元和時戶數一萬七千五百九十一（《元和郡縣誌》卷二十八），也是一個小州。前面說過，當杜牧由比部員外郎出為黃州刺史時，他的好友李方玄已經出為池州刺史。會昌四年秋，李方玄罷官，所以杜牧遷池州是接李方玄之任。杜牧是九月上任的，他後來所作的《祭故處州李使君（即李方玄）文》中曾提道：「幸會交代，沿楫若飛。江山九月，涼風滿衣。」就是描寫這次上任時的情況。
李方玄既然是杜牧生平相知的好友，多年不見，這一次相會，是很難得的，所以縱酒暢談了十天，談公事，也談私事。李方玄允許將他的小女許配給杜牧的長子，可見他們二人情誼的親厚。次年李方玄死去，杜牧作祭文，曾追敘此次歡會的情況：
為別幾時，多少歡悲。
志業益廣，不可窺知。
長人之術，酋為吏師。
縱酒十日，舞袖僛垂。
語公之餘，且及其私。
許以季女，配我長兒。
莫雲稚齒，可以指期。
（《樊川文集》卷十四《祭故處州李使君文》）
李方玄在池州做刺史也是頗有政績的。當時各地徭役，多不公平，胥吏作弊，盡攤在貧苦人民身上。李方玄創立「籍簿」，凡是應當服徭役者，都清楚可查，按籍徵發；不應當服役者，吏不得舞弊。李方玄曾說：「使天下知造籍役民，民庶稍活。」他又清理戶稅，查出以前因豪強猾吏舞弊，而貧弱戶受到橫徵暴斂者有七千戶，都免除其橫加的賦稅。這些政績，杜牧都記載在他給李方玄所作的墓志銘中。造戶籍以均差役這件事，杜牧也是很注意的。杜牧以前由江淮一帶入京，乘船經過汴河，他看到汴河兩岸牽船夫最苦，大寒大熱的天氣，牽船奔走，往往死去。牽船夫是地方政府徵發的，因為官吏舞弊，徭役不均，有錢的人家可以避免，而牽船苦役都落在窮人身上。當時有一位襄邑（河南睢縣）縣令李式，年少有吏才，他造了一本戶籍簿，每年按照戶籍簿，輪流差遣，無論貧富，都要服役，一年之中，一縣人戶不至於兩度服役，如有遠戶不能來者，可以納錢，在近河僱人。因為縣令自己掌握戶籍簿，所以縣吏雖然狡猾，也不能作弊。杜牧路過襄邑時，看到縣令李式這種辦法，認為很好。後來他自己做刺史時，凡是役夫及竹木磚瓦工匠之類，全都自置籍簿，若要役使，即自檢自差，不下文帖付縣，免去許多騷擾與弊端。杜牧並且曾寫信給汴州從事，介紹襄邑令李式及自己的辦法與經驗，勸汴州從事採納。他在書信中說：「今為治，患於差役不平。……長吏不置簿籍，一一自檢，即奸胥貪冒求取，此最為甚。」（《樊川文集》卷十三《與汴州從事書》）這也是杜牧注意民生疾苦，常想在自己能力範圍之內一定程度上加以解除的一個例證。
杜牧自會昌四年九月來到池州做刺史，到會昌六年九月遷睦州刺史，在池州整兩年。
這時唐朝抵抗回鶻烏介可汗的南下，已取得了相當的勝利。會昌三年正月，石雄大破回鶻於殺胡山，烏介可汗逃去，迎大和公主以歸。回鶻雖然基本上被打敗了，然而他們的統治者率領殘部，猶在邊境游弋，宰相李德裕很關心這件事。杜牧也曾上書於李德裕，論對付回鶻殘部的方策。他先分析回鶻殘部的情況，然後認為：
今者征中國之兵，與之首尾，久戍則有師老費財之憂，深入則有大寒瘃墜之苦，示戎狄之弱，生奸傑之心。今者不取，恐貽後患。
於是他建議一個方策：
以某所見，今若以幽、並突陣之騎，酒泉教射之兵，整飭 誡誓，仲夏潛發……五月節氣，在中夏則熱，到陰山尚寒，中國之兵，足以施展。行軍於枕席之上，玩寇於掌股之中……一舉無頻，必然之策。今冰合防秋，冰銷解戍，行之已久，虜為長然。出其意外，實為上策。
（《樊川文集》卷十六《上李太尉論北邊事啟》）
這也足見杜牧是一貫地關心邊防，喜論兵事。
這時回鶻既已衰弱，吐蕃也發生內亂，所以朝廷想乘機收復河湟。在本書第一章中已經提到，自唐肅宗以來，因為西北邊防軍內調平安史之亂，吐蕃統治者乘機派兵東進，占據河西、隴右，代宗時，吐蕃兵曾一度進入長安，而隴右、河西一帶人民受吐蕃統治者的壓迫奴役，也無日不盼望朝廷收復河湟，加強統一。沈亞之到過西北，耳聞目擊，他在制科考試對策中說：
臣嘗仕於邊，又嘗與戎降人言。自輪海已東，神鳥、燉煌、張掖、酒泉，東至於金城、會寧，東南至於上邽、清水，凡五十郡、六鎮、十五軍，皆唐人子孫，生為戎奴婢，田牧種作，或叢居城落之間，或散處野澤之中，及霜露既降，以為歲時，必東望啼噓，其感故國之思如此。
（《沈下賢集》卷十《賢良方正能直言極諫策》）
唐代宗時，元載因為曾做過西州（唐西州治所在今新疆吐魯番）刺史，熟悉河西、隴右山川形勢，大曆八年（773年），元載向代宗建議說：「現在國家西境在潘原（甘肅平涼市東四十里），而吐蕃戍摧沙堡，原州（治所高平縣，在今寧夏固原）居其中間，其西草肥水美，平涼（甘肅平涼市西三十五里）在其東，獨耕一縣，可以供給軍糧。原州舊營壘尚存，吐蕃棄而不居，如果將它修築起來，將京西軍隊移戍原州，將郭子儀的軍隊移戍涇州（治所在今甘肅涇川），分兵守石門、木峽兩關（都在原州境內），漸開隴右，進達安西，據吐蕃腹心，朝廷可以高枕無憂。」並且圖畫地形獻於代宗，但是代宗並未能實行元載的計劃。憲宗觀看天下地圖，看到河西、隴右一帶為吐蕃統治者所占據，常想恢復，但是也未能實行，他就死了。杜牧關心邊防，痛傷河西、隴右為吐蕃統治者所占領，懷念當地受奴役的人民，所以他曾作《河湟》詩，對於代宗時元載劃策及憲宗時有意收復河湟，而都未能實行，深深地表示惋惜：
元載相公曾借箸，
憲宗皇帝亦留神。
旋見衣冠就東市，
忽遺弓劍不西巡。
牧羊驅馬雖戎服，
白髮丹心盡漢臣。
唯有涼州歌舞曲，
流傳天下樂閒人。
武宗會昌四年，「朝廷以回鶻衰微，吐蕃內亂，議復河湟四鎮十八州，乃以給事中劉濛為巡邊使，使之先備器械糗糧及詗吐蕃守兵眾寡」（《通鑑·唐紀六十三》）。杜牧聽到這個消息之後，非常興奮，他作了一首《皇風》詩歌頌武宗，並寄託他對於武宗的期望：
仁聖天子神且武，
內興文教外披攘。
以德化人漢文帝，
側身修道周宣王。
迒蹊巢穴盡窒塞，
禮樂刑政皆弛張。
何當提筆待巡狩，
前驅白旆吊河湟！
但是武宗並沒有能夠如杜牧所期望的完成收復河湟的事業。一直到宣宗時，河西、隴右才重歸朝廷，主要還是靠當地人民起義，驅逐吐蕃統治者。晚唐國勢不振，政府兵力對於收復河湟已經無能為力了。
會昌五年（845年）秋，武宗下詔毀禁佛教。唐朝自開國以來，承繼南北朝的風尚，佛教盛行，寺廟與僧尼很多。唐代前期施行均田制時，僧尼也照例受田，但是並不擔負規定的租庸調，兩稅法施行後，僧人仍然可以不納稅。同時，寺廟因為皇帝的賞賜，貴族、顯宦、富室的布施以及自行購置，擁有大量土地。唐代度人為僧尼，都要納錢領牒，公度之錢歸於國庫，私度之錢則歸於地方官吏及寺廟所有，政府或寺廟往往多度僧尼，增加收入；許多人因為要逃避賦役，就出家為僧，所以僧人數目日漸增多。寺廟所有的大量土地不納租稅，眾多僧人不從事生產，而賴農民供養，這是當時社會經濟上的一個大問題，對於國計民生是很大的蠹害。唐中宗時，辛替否說：「今天下之寺蓋無其數，一寺當陛下一宮，壯麗之甚，是十分之財而佛有其六七。」代宗時，都官員外郎彭偃說：「一僧衣食，歲計約三萬有餘，五丁所出不能致此。舉一僧以計天下，其費可知。」 可以想見此問題性質的嚴重。唐文宗注意到這個問題，他曾對宰相說：「古者三人共食一農人，今加兵、佛，一農人乃為五人所食，其間吾民尤困於佛。」（《樊川文集》卷十《杭州新造南亭子記》）但是文宗並沒有什麼實際的措施。武宗也看到這些問題，有意毀禁佛教，同時，武宗相信道士，道教與佛教自來有衝突，道士趙歸真等又乘機勸誘，所以武宗於會昌五年七月下詔，先毀山野招提蘭若（官賜額者為寺，私造者為招提蘭若），敕上都、東都兩街各留二寺，每寺留僧三十人，節度、觀察使治所及同、華、商、汝州各留一寺，分為三等，上等留僧二十人，中等留十人，下等五人，餘僧及尼並大秦穆護祆僧，皆勒歸俗。寺非應留者，立期令所在毀撤，並遣御史分道督促。財貨田產並沒官，寺材以葺公廨、驛舍，銅像、鐘磬以鑄錢。八月，武宗下詔陳佛教之弊，宣告中外。凡天下所毀寺四千六百餘區，歸俗僧尼二十六萬五百人，大秦穆護祆僧二千多人，毀招提蘭若四萬餘區，收良田數千萬頃、奴婢十五萬人。奴婢與還俗僧徒皆充兩稅戶。
武宗毀禁佛教，其主觀上是為了統治者的利益，就是要將寺廟所占有的大量土地與財富收歸政府所有，同時，使僧人還俗，充當兩稅戶，又增多了政府剝削的對象，但是在客觀上也減輕了人民供養僧尼的負擔。唐朝士大夫中許多是好佛的，可能對於毀禁佛教之事不以為然，但是杜牧非常贊成這個措施。在宣宗大中年間，他作《杭州新造南亭子記》，詳細記載武宗毀禁佛教之事，並表示贊同。在這篇記中，杜牧還發抒了一段精闢的議論：
為工商者，雜良以苦，偽內而華外，納以大秤斛，以小出之，欺奪村閭戇民，銖積粒聚，以至於富。刑法錢穀小胥，出入人性命，顛倒埋沒，使簿書條令不可究知，得財買大第豪奴，如公侯家。大吏有權力，能開庫取公錢，緣意恣為，人不敢言。是此數者，心自知其罪，皆捐己奉佛以求救，月日積久，曰：「我罪如是，貴富如所求，是佛能滅吾罪，復能以福與吾也。」有罪罪滅，無福福至，生人惟罪福耳，雖田婦稚子，知所趨避。今權歸於佛，買福賣罪，如持左契，交手相付。
統治者、剝削者做了許多損害人民的事情，他們以為信奉佛教可以減去罪惡，求得福祐，更「心安理得」地加強作惡。杜牧對於這種隱微而卑鄙的心理加以深刻而尖銳的揭發，指出他們之所以舍財奉佛是要「買福賣罪」。南朝齊、梁時傑出的唯物論者范縝作《神滅論》，曾指出當時佞佛之人「竭財以赴僧，破產以趨佛」，是因為當時僧人們「惑以茫昧之言，懼以阿鼻之苦，誘以虛誕之詞，欣以兜率之樂」。換句話說，就是多用錢奉佛以買福贖罪。杜牧這段議論與范縝的說法相似，在唐代士大夫佞佛的風氣中，這種見解還是不可多得的。
杜牧在池州，也有朋友唱和。有一位故交孟遲，這時來到池州看杜牧。孟遲是池州青陽縣人，有詩名，尤工絕句。當開成三年夏天，杜牧在宣州幕中時，孟遲曾來到宣州，兩人會面一談，很契合，於是常在一起遊玩。這一年秋八月，他們又同游宣州當塗縣的牛渚山，遠望大江吞天，風帆遠去，頗有豪情勝慨。次年，杜牧到長安任左補闕，孟遲也來應進士舉，但是沒有考上。這時杜牧在朝做官也不得志，於是兩人常到寺廟同游，風雪之夜，就住在廟中。會昌二年春，杜牧出為黃州刺史，與孟遲分別。會昌四年九月，杜牧遷池州刺史，孟遲又來看他，杜牧非常高興，於是他貢舉孟遲與另一位秋浦人盧嗣立同赴長安應進士舉。第二年，孟遲與盧嗣立都舉進士及第。當孟遲離池州赴長安時，杜牧作了一首長詩送他。這首詩中追敘他與孟遲舊日同游的事跡與交誼，結尾處發抒了一段悒鬱的情懷：
人生直作百歲翁，亦是萬古一瞬中。我欲東召龍伯翁，上天揭取北斗柄；蓬萊頂上斡海水，水盡到底看海空。月於何處去？日於何處來？跳丸相趁走不住，堯舜禹湯文武周孔皆為灰。酌此一杯酒，與君狂且歌。離別豈足更關意，衰老相隨可奈何！
（《池州送孟遲先輩》）
「跳丸相趁走不住，堯舜禹湯文武周孔皆為灰」，這二句與杜牧在池州所作的《九日齊山登高》詩「古往今來只如此，牛山何必獨沾衣」意思相似。杜牧少年時有高才壯志，很想有所作為，而政治腐敗，直道不容，並不能如自己所理想的，所以在四十歲後出守小郡時悒鬱的情懷，便是這種心情的表現。
更值得特筆描述的是杜牧與張祜在池州的會合。
張祜字承吉，清河（河北清河）人。他擅長樂府與宮詞，是當時很有名的詩人。他是杜牧的前輩，杜牧久聞其名，也讀過他的詩，但是沒有會過面。張□這時寄居在丹陽（江蘇丹陽），聽說杜牧調到池州做刺史，於是乘船溯長江而上來拜訪杜牧，路過牛渚時，先寄來一首詩：
牛渚南來沙岸長，
遠吟佳句望池陽。
野人未必非毛遂，
太守還須是孟嘗。
（《江上旅泊呈杜員外》）
這首詩說，自己貿然來訪，如同毛遂自薦，推想杜牧一定是會如孟嘗君之好客的。
杜牧讀了這首詩，很高興，立刻作了一首詩，酬答張祜，歡迎他的到來：
七子論詩誰似公？
曹劉須在指揮中。
薦衡昔日知文舉 ，
乞火無人作蒯通。
北極樓台長掛夢，
西江波浪遠吞空。
可憐「故國三千里」，
虛唱歌辭滿六宮 。
（《酬張祜處士見寄長句四韻》）
這首詩氣勢矯健，音節高亮，是杜牧精心結撰的作品，裡邊充滿了對張祜的稱讚與同情。當穆宗時，令狐楚上表推薦張祜，穆宗問元稹：「張祜為人怎樣？」元稹說：「張祜雕蟲小巧，如果皇帝獎勵他，恐怕風教變壞。」於是穆宗遂不用張祜。此詩三、四兩句就是說的這件事，借用孔融（文舉）與蒯通的故事，對於令狐楚推薦張祜而元稹加以阻撓之事表示惋惜。
過了幾天，張祜來到池州，杜牧很殷勤地接待他。他們兩人常在一起飲酒、談心、論詩。杜牧把許多舊作拿出來給張祜看，張祜特別欣賞那首長篇五古《杜秋娘詩》，於是題了一首七絕，其中有這樣兩句：「可知不是長門閉，也得相如第一詞。」（《讀池州杜員外杜秋娘詩》）
杜牧與張祜以前雖不相識，但是彼此聞名已久，互相傾慕，這次在池州相會，談得非常契合。杜牧酬和張祜的詩中提到他以前曾被令狐楚推薦而受到元稹阻撓之事，表示惋惜，張祜很受感動，因為張祜以前對這件事也是耿耿於懷，曾在《寓懷寄蘇州劉郎中》詩中發過感慨：「天子好文才自薄，諸侯力薦命猶奇。賀知章口徒勞說，孟浩然身更不疑。」
有一天，他們二人又談起這件事來，杜牧對張祜自然有許多安慰，張祜嘆了一口氣，說：「我平生失意之事，還不止於此。」杜牧稍微驚訝地問：「還有什麼事呢？」張祜說：「你沒有聽到過我在杭州與白居易的那件公案麼？」杜牧說：「我也約略聽到一點，但是不知其詳。」張祜說：「那也是穆宗長慶年間的事情。白居易正做杭州刺史，我到杭州，請他貢舉我去應進士考試，這時徐凝也來了，白居易就出題考我們，詩題是《餘霞散成綺》，賦題是《長劍倚天外賦》。考試完畢之後，他取徐凝為解元，我很不服氣。白居易是很有詩名的，他為什麼不能明辨高下呢？」杜牧本來對於白居易懷有偏見，聽了張祜的話，自然也就很容易認為白居易評判不公，而為張祜抱屈。後來他登池州九峰樓，作了一首律詩寄給張祜，後半篇是這樣四句：
睫在眼前長不見，
道非身外更何求？
誰人得似張公子，
千首詩輕萬戶侯。
（《登池州九峰樓寄張祜》）
「睫在眼前長不見」句是用古人所謂「見豪毛而不見其睫」的成語，說白居易不免有所蔽，以下是安慰張祜，說他的詩自有價值，身外的得失也就不必去管了。
張祜固然沒有杜牧那種經邦濟世的抱負，也沒有他那種論政談兵的才能，不過，張祜終究是一個有文學才華的人，當時有許多才學不如他的人，都得到政府的任用，張祜為什麼獨遭遺棄呢？杜牧自己是懷才不遇的，所以他非常同情張祜。在池州城南三里多路有十幾個山峰，其高齊等，名叫「齊山」。在九月初九重陽節那一天，杜牧與張祜登齊山遊玩，同在山中石壁上題名。 杜牧作了一言《九日齊山登高》詩：
江涵秋影雁初飛，
與客攜壺上翠微。
塵世難逢開口笑，
菊花須插滿頭歸。
但將酩酊酬佳節，
不用登臨恨落暉。
古往今來只如此，
牛山何必獨沾衣！
這首詩從表面看來，好像是看破一切，是極曠達的思想，而實際上是發抒憤慨，這裡邊包括了他們二人懷才不遇、同病相憐之感。張祜也和了一首：
秋溪南岸菊霏霏，
急管繁弦對落暉。
紅葉樹深山徑斷，
碧雲江淨浦帆稀。
不堪孫盛嘲時笑，
願送王弘醉夜歸。
流落正憐芳意在，
砧聲徒促授寒衣。
（《和杜牧之齊山登高》）
張祜這次來池州與杜牧相會，總算遇到了一個知己，兩人都作了一些贈答酬和的詩，晚唐詩壇，傳為佳話。當時詩人鄭谷曾說：「張生『故國三千里』，知者惟應杜紫微。」（《高蟾先輩以詩筆相示抒成寄酬》，見同文書局縮印本《全唐詩》卷二十五）
杜牧在池州任上，也有一些物質上的建設。他根據王易簡傳授給他的刻漏圖，命工人製造刻漏，設置於池州城南門樓，並作了一篇記。他又重修池州刺史衙署內七十年前蕭復所建的大樓，又在池州城南門外建築了一個亭，取李白「飲弄水中月」詩句之意，名曰「弄水亭」。
唐武宗相信道士趙歸真等，吃他們所煉的金丹，後來金丹毒發，會昌六年（846年）春，病勢沉重。宦官馬元贄等在禁中秘密定策，矯詔立武宗的叔父光王李怡為皇太叔，改名忱，準備繼承帝位。三月中，武宗死去，李忱即位，是為宣宗。第二年改元大中。
武宗在位數年之中，倚任李德裕為相。李德裕雖然很有政治才能，鞏固邊防，削平叛鎮，做了幾件有益的事情，但是他辦事專斷，好徇個人愛憎，也得罪了許多人。宣宗沒有做皇帝時，已經厭惡李德裕的專權，即位後第二個月，也就是會昌六年四月，就罷免李德裕的相位，任命他為荊南節度使，同時，以翰林學士兵部侍郎白敏中同平章事。八月中，武宗時被貶逐的牛僧孺、李宗閔等五位宰相同時奉詔北還。宣宗討厭李德裕，而原來牛僧孺、李宗閔一黨的人也恨李德裕，白敏中乘上下之怒，竭力排擠，於是在短短的兩年之中，李德裕連遭貶謫為崖州司戶，大中三年（849年）十二月，死於貶所。牛僧孺也在大中二年死去。四十年的牛李黨爭，到此算是告一結束。
杜牧於會昌二年由比部員外郎出為黃州刺史，可能是受李德裕的排擠，他對李德裕是不滿意的。宣宗即位後，這一番政局的變動，杜牧認為是「收 拾冤沉，誅破罪惡」（《樊川文集》卷十四《祭周相公文》）。會昌六年九月，杜牧接到遷睦州刺史的新任命。
四「更遷桐廬」
會昌六年九月，杜牧由池州刺史調任睦州，這一年他四十四歲。在睦州約兩年，到宣宗大中二年八月，內升為司勛員外郎、史館修撰，才離開睦州赴長安。
睦州又名新定郡，管轄建德、壽昌、桐廬、分水、遂安、還淳等六縣，治所在建德縣（浙江建德），沿富春江（錢塘江的上游）。睦州，元和時戶數九千五十四（《元和郡縣誌》卷二十五），也是一個窮僻的小州。
杜牧這次由池州遷睦州，完全是走的水路。從池州乘船沿大江東行，到潤州，轉運河南下，到杭州，再溯富春江而上，路途遙遠曲折，並且富春江一段，更是風濤險惡。後來杜牧在《祭周相公文》中追述這一段行程時，有這樣幾句話：「東下京江，南走千里。曲屈越嶂，如入洞穴。驚濤觸舟，幾至傾沒。」路過杭州時，曾停留了一下，認識了詩人龔軺，聽他彈琴。由池州赴睦州，一路同舟的有盧生，也可以稍慰寂寞。
杜牧自從會昌二年春離開長安，在黃州做刺史兩年多，遷到池州做刺史又是兩年，到會昌六年秋冬間，又遷睦州。這時他離開故鄉已經五年了，並且越遷官越向東走，距離長安越遠，所以他的鄉思越發濃厚起來。他在上任的途中作了一首詩，透露了思鄉之情：
無端偶效張文紀，
下杜鄉園別五秋。
重過江南更千里，
萬山深處一孤舟。
（《新定途中》）
張文紀即張綱，東漢時人，順帝時，官御史，上書彈劾權奸梁冀及其弟梁不疑，被出為廣陵太守。杜牧以張綱自比，意思是說，他也是因為性情剛直，得罪權臣，而被排擠，出守遠郡，一轉眼間，離開下杜鄉園已經五年，萬山深處，孤舟獨行，更引起寂寞思鄉之感。
睦州是一個沿江的小郡，四周多山，很是荒僻。杜牧在《祭周相公文》中對於睦州有這樣一段描寫：「萬山環合，才千餘家。夜有哭鳥，晝有毒霧。病無與醫，飢不兼食。抑喑逼塞，行少臥多。逐者紛紛，歸軫相接。」所以杜牧更是常想起他家鄉樊川朱坡的別墅：
秋草樊川路，斜陽覆盎門。
獵逢韓嫣騎，樹識館陶園。
帶雨經荷沼，盤煙下竹村。
如今歸不得，自戴望天盆。
（《憶游朱坡四韻》）
故國池塘倚御渠，
江城三詔換魚書。
賈生辭賦恨流落，
只向長沙住歲餘 。
（《朱坡絕句三首》其一）
樊川朱坡一帶有竹村、荷沼，景物清美，賈誼遠謫長沙，猶有召還之期，而自己在外州做刺史，更換了三個地方，還不知道何日才能重回長安，看看自己故鄉的別墅。
杜牧《樊川文集》中又有《初冬夜飲》一首：
淮陽多病偶求歡，
客袖侵霜與燭盤。
砌下梨花一堆雪，
明年誰此憑欄干？
這首詩情思悽惋。第一句以汲黯自比。西漢汲黯因為剛直敢言，屢次切諫，不得久留於朝廷，出為東海太守，汲黯多病臥，不治事。有一次，汲黯又被任命為淮陽太守，他對漢武帝說：「臣常有狗馬病，力不能任郡事。」結果武帝還是要他去做淮陽太守。杜牧用「淮陽多病」的典故，說出自己出任外郡之不得已。第三、四兩句慨嘆屢次遷徙，大有不知明年又在何處之意。這首詩可能也是在睦州所作，因為杜牧由黃州遷池州，再遷睦州，已經三遷了，所以有流轉無定之感。
睦州臨山傍水，風景很好，杜牧也有描寫睦州景物之作：
州在釣台邊，溪山實可憐。
有家皆掩映，無處不潺湲。
好樹鳴幽鳥，晴樓入野煙。
殘春杜陵客，中酒落花前。
（《睦州四韻》）
睦州治所建德縣東北約百里，有桐廬縣。桐廬縣西三十里，也就是建德縣東北七十里，有富春山，一名嚴陵山，前臨富春江，是漢朝嚴子陵垂釣之處，有釣台，是著名的名勝古蹟，詩中所謂「釣台」，即指此。
這時杜牧的舊友邢群正做歙州（治所在今安徽歙縣）刺史。歙州與睦州東西相去三百里，他們二人時常作詩相寄，也都吐露了思鄉之情。邢群懷念他的洛陽舊居，而杜牧思念他的長安故里，所以許渾《丁卯集》卷上《酬邢杜二員外》詩中有這樣兩句：
未歸嵩嶺暮雲碧，
久別杜陵春草青。
杜牧這時已經四十五歲左右了，他除去思念故鄉樊川以外，也常常回憶往事。杜牧本來是很有政治抱負的，他在文宗大和末年曾官監察御史，開成中，又為左補闕，兩度在朝為官，而左補闕又是專掌諷諫之職，按說他很可以直陳時政得失，發抒自己的抱負了。但是大和末年正是鄭注、李訓專權之時，而開成中宦官勢焰更盛，杜牧的好友李甘、李中敏等，都因為反對權臣鄭注及宦官仇士良而遭到貶謫。杜牧回想那時朝中貪污的風氣是：「億萬持衡價，錙銖挾契論。堆時過北斗，積處滿西園。」權臣與宦官及其爪牙們，是「狐威假白額，梟嘯得黃昏」。自己在這種污濁的政治環境中，不但不能有所作為，而且還要時常憂惕：「每慮號無告，長憂駭不存。隨行唯跼蹐，出語但寒暄。」杜牧因為是「剛腸者」，受到權臣與宦官的嫉視，也曾經觸犯過「蠆尾」。這些事現在回想起來，足以發人深慨，所以他作了一首《昔事文皇帝三十二韻》的五言排律。
大中二年秋，杜牧接到吏部尚書高元裕寄給他的一封信。高元裕字景圭，渤海人。文宗大和中，高元裕為中書舍人，當時鄭注入翰林，高元裕撰鄭注制辭，說他以醫藥奉君親，鄭注很生氣，後來找了高元裕一個錯處，終於把他貶為閬州刺史。會昌五年五月，宣歙觀察使韋溫死去，高元裕繼任，這時杜牧正做池州刺史，是他的屬下。大中元年，高元裕入朝為吏部尚書；第二年，他給杜牧一封信，表示關懷慰問之意，杜牧很是感激。因為杜牧自從出守黃州以來，遷池，遷睦，首尾七年，很少有朝中達官與他通書問的，現在接到吏部尚書高元裕的一封書信，真有空谷足音之感。於是他寫回信給高元裕，一開頭就發了一頓牢騷：
某啟：人惟樸樕，材實朽下，三守僻左，七換星霜，拘攣莫伸，抑鬱誰訴？每遇時移節換，家遠身孤，弔影自傷，向隅獨泣。將欲漁釣一壑，棲遲一丘，無易仕之田園，有仰食之骨肉。當道每嘆，末路難循，進退唯艱，憤悱無告。
（《樊川文集》卷十六《上吏部高尚書狀》）
在武宗會昌中，李德裕當權，杜牧是不得升進的。會昌六年，武宗死去，宣宗即位，李德裕失勢，政局變動，杜牧應當有升進的希望了。但是這年秋冬間，他僅是由池州刺史調任睦州，換了一個地方，在睦州又將兩年，到大中二年秋，仍然沒有遷官的消息，所以他給高元裕的書信中提道：「三守僻左，七換星霜，拘攣莫伸，抑鬱誰訴？」覺得「進退唯艱，憤悱無告」。高元裕為吏部尚書，對於杜牧是有汲引之力的，他遠道寫信慰問杜牧，可見是很關懷，杜牧回信中也表示了自己的感激，但是高元裕不久就出為山南東道節度使，所以也沒有來得及援引杜牧。
就在大中二年八月，杜牧終於接到內升為司勛員外郎、史館修撰的新任命，這是由於宰相周墀援引之力。周墀字德升，汝南人。長慶二年舉進士及第，能作古文，有吏才。宣宗即位，他由義成軍節度、鄭滑觀察等使被召入朝為兵部侍郎，大中二年三月，以本官平章事。周墀與杜牧關係很深，杜牧少時，即受到周墀的賞識，所以他做宰相之後，就提拔杜牧。杜牧接到新命，作了一篇啟寄給周墀，表示感謝：
伏以睦州治所，在萬山之中，終日昏氛，侵染衰病。自量忝官已過，不敢率然請告，唯念滿歲，得保生還。不意相公拔自污泥，升於霄漢，卻收斥錮，令廁班行，仍授名曹，帖以重職。當受震駭，神魂飛揚，撫己自驚，喜過成泣。
（《樊川文集》卷十六《上周相公啟》）
杜牧於大中二年九月初由睦州乘船啟程赴長安就新職。他動身的時候，作了一首《除官歸京睦州雨霽》詩，這時正是「節近重陽」，秋雨初霽，清光萬里，「水聲侵笑語，嵐翠撲衣裳」，杜牧的心情是喜悅的。但是他又想到自己做官多年，並無積蓄，而家累多，負擔重，這次回京做官，應當學世故一些，不要像以前那樣剛腸，以至於直道不容，所以在篇末，他唱了這樣四句：
奼女真虛語，飢兒欲一行。
淺深須揭厲，休更學張綱。
這種衰靡頹廢的情思與杜牧少壯時那種發揚蹈厲以天下為己任的氣概大不相同了。在中國古代封建社會中，有才華、有抱負、有正義感的士大夫，經過許多挫折，看到許多無可奈何之事，到晚年往往趨於消極。這固然是由於不合理的封建社會制度所造成的，同時也可以看出，即便是有正義感的封建士大夫，其本身也往往具有不同程度的軟弱性。
杜牧路過金陵，作了一首《江南懷古》詩：
車書混一業無窮，
井邑山川今古同。
戊辰年向金陵過，
惆悵閒吟憶庾公。
大中二年是戊辰年，杜牧這一年路過金陵，金陵是六朝的都城建康，因此聯想到梁朝末年侯景反叛，圍困建康，也恰是在太清二年戊辰（548年），所謂「懷古」，即指此事，並且又聯想到庾信。庾信是南北朝末年一位傑出的文學家，他晚年流落在北朝，傷感梁末侯景之亂以及梁元帝江陵政府之滅於西魏，曾作《哀江南賦》，是一篇很有名的文學作品。十一月，杜牧路過宋州（治所在今河南商丘市），作了一篇《宋州寧陵縣記》，敘述劉昌守寧陵斬孤甥張俊拒李希烈事。後來宋人葉夢得加以辨正，他說，考之史傳，李希烈圍寧陵時，守將是高彥昭，劉昌乃其副，李希烈圍城急，劉昌想棄城而逃，向劉元佐請兵，高彥昭堅意守城，保全了寧陵，功在高彥昭而不在劉昌。他批評杜牧不審虛實，不免好奇之過。（《避暑錄話》卷三「杜牧記劉昌守寧陵」條）
杜牧於大中二年十二月到長安，就司勛員外郎的新職。
大中二年十月二十七日，牛僧孺卒於洛陽，年六十九。文宗大和中，杜牧在牛僧孺淮南節度使府中做掌書記，很受到器重愛護，所以杜牧很感激牛僧孺，但是在政治主張上，並不附和牛僧孺姑息藩鎮的政策，這也說明杜牧不以私情影響公義。不過，就私人關係說，杜牧對牛僧孺是有知己之感的，所以他為牛僧孺所作的墓志銘，還是不免有揄揚溢美之處。