1960 年“批譚事件”后，譚政的職務(wù)是一降再降，先是從解放軍總政治部主任降為了副主任，接著又被撤銷了中央書(shū)記處書(shū)記、軍委常委、國(guó)防部副部長(zhǎng)等職務(wù)，并降薪兩級(jí)。

按理說(shuō)，林彪作為譚政昔日的老上級(jí)、老戰(zhàn)友，不應(yīng)該這樣痛下狠手，但當(dāng)時(shí)的林彪已經(jīng)在“左”的方面越走越遠(yuǎn)，而譚政又為人剛毅正直、堅(jiān)持真理，對(duì)這位老上級(jí)的一些做法、行為表示不理解，甚至是反對(duì)，而其中最典型的便是他反對(duì)林彪提出的“三八作風(fēng)”，以及在軍委擴(kuò)大會(huì)議上“頂撞”林彪。

但無(wú)論是反對(duì)“三八作風(fēng)”也好，還是在會(huì)上“頂撞”林彪也罷，譚政不過(guò)是基于實(shí)事求是的原則罷了。而所謂的“頂撞”，也不過(guò)是他為自己的那些莫須有的罪狀所作的申辯而已。但在當(dāng)時(shí)的歷史背景下，譚政最終還是免不了受到打擊。

然而，事情遠(yuǎn)沒(méi)有結(jié)束，這不過(guò)是譚政晚年坎坷命運(yùn)的開(kāi)端而已。

1964年，譚政奉命分管民兵的政治工作。為了把工作做好，他經(jīng)常深入基層搞調(diào)查研究，并根據(jù)收集到的資料寫(xiě)出了關(guān)于民兵工作的報(bào)告。然而，讓人萬(wàn)萬(wàn)沒(méi)有想到的是，這份報(bào)告竟受到了林彪的嚴(yán)厲指責(zé)。

譚政在報(bào)告中提出的“三依靠”觀點(diǎn)，被林彪指責(zé)說(shuō)與毛主席的“三落實(shí)”（即民兵工作三落實(shí)：組織落實(shí)、政治落實(shí)、軍事落實(shí)）指示相對(duì)抗。

直到此時(shí)，譚政才終于明白，自己的這位老上級(jí)、老戰(zhàn)友已經(jīng)不是痛下狠手那么簡(jiǎn)單了，而是欲置自己于死地。盡管自那次會(huì)議之后他們就沒(méi)有見(jiàn)過(guò)面，但似乎這位老上級(jí)并不打算就這樣放過(guò)他。

1965年11月的一天，譚政接到了新的任命通知，到福建擔(dān)任副省長(zhǎng)一職，并要求其全家在年底前離京。從副國(guó)級(jí)到副省部級(jí)，如此巨大的落差實(shí)在令人難以接受，但或許對(duì)于譚政來(lái)說(shuō)，這也未嘗不是件好事，畢竟遠(yuǎn)離了林、遠(yuǎn)離了斗爭(zhēng)的中心，而且還可以繼續(xù)為黨和人民工作，也算是“因禍得?！绷?！

但好景不長(zhǎng)，1966年“特殊時(shí)期”開(kāi)始后，譚政還是不可避免地受到了沖擊，此后被關(guān)押了近9年的時(shí)間，期間還換過(guò)好幾個(gè)地方，飽受折磨。

1971年“九一三”事件后，大批冤假錯(cuò)案得以平反昭雪，很多被打倒的老同志也都陸續(xù)恢復(fù)了工作，但譚政的境遇依舊沒(méi)有多大改變，直到1975年春節(jié)前后，在毛主席的關(guān)注下，他才得以被釋放出獄，恢復(fù)了自由。

譚政出獄后的第一件事就是解決工作問(wèn)題。9年的牢獄生活使他沒(méi)能好好的為黨和人民工作，他太想重新回到工作崗位上去了。為此，他專門(mén)寫(xiě)了一封信給葉帥，請(qǐng)求安排工作。

葉帥收到信后，當(dāng)即便轉(zhuǎn)給了當(dāng)時(shí)已經(jīng)復(fù)出，并主持黨、國(guó)家和軍隊(duì)日常工作的鄧公。鄧公看完信后，很快便作出批示并報(bào)給毛主席：“主席，譚政無(wú)大錯(cuò)，建議安排到軍委當(dāng)顧問(wèn)”。毛主席批示同意。

1975年8月，譚政終于如愿以償?shù)幕謴?fù)了工作，任中央軍委顧問(wèn)，再次穿上了心愛(ài)的軍裝。

可能有人會(huì)說(shuō)，譚政好歹是開(kāi)國(guó)大將，又當(dāng)過(guò)總政治部主任，怎么不安排一個(gè)“實(shí)職”，而要安排一個(gè)“顧問(wèn)”職務(wù)呢？事實(shí)上，這正是鄧公的高明之處。

首先，經(jīng)過(guò)長(zhǎng)達(dá)9年的牢獄生活，譚政出獄后身體狀況已大不如前，當(dāng)時(shí)基本不能工作；其次，雖然譚政已被釋放，但尚未平反昭雪、恢復(fù)名譽(yù)，所以，安排實(shí)職是不妥的。而鄧公建議任命其為中央軍委顧問(wèn)，實(shí)際上是對(duì)他名譽(yù)的恢復(fù)，而這也為后來(lái)平反昭雪奠定了基礎(chǔ)。

1978月，時(shí)年71歲的譚政當(dāng)選為第五屆全國(guó)人大常務(wù)委員會(huì)委員、人大法制委員會(huì)副主任。1980年，中央對(duì)譚政當(dāng)年受到的政治誣陷給予平反，恢復(fù)了名譽(yù)。

1986年6月14日， 譚政將軍80歲生日這天，時(shí)任國(guó)務(wù)院副總理兼國(guó)防部部長(zhǎng)的徐向前元帥發(fā)來(lái)生日賀信，信中對(duì)他給予了高度評(píng)價(jià)：“您對(duì)人民軍隊(duì)的政治工作的建樹(shù)，您對(duì)革命的功績(jī)，是永不磨滅的”。譚政大將看后，不禁感動(dòng)得熱淚盈眶。

1988年11月6日，譚政大將走完了他精彩而傳奇的一生，享年82歲。