張淦早年他進(jìn)了廣西陸軍速成學(xué)校第二期，學(xué)軍事基礎(chǔ)，畢業(yè)后直接從少校副官干起，投身桂軍。1923年，他在陸榮廷部隊里做事，負(fù)責(zé)一些協(xié)調(diào)工作，那時候桂系勢力在廣西慢慢壯大，他跟著一步步往上爬。

北伐前夕，廣西統(tǒng)一戰(zhàn)打響，他參與其中，幫著桂系穩(wěn)固地盤。1926年北伐正式啟動，他隨桂系部隊北上，攻占湖南等地，積累了不少實戰(zhàn)經(jīng)驗。

抗日戰(zhàn)爭一打響，1937年他已經(jīng)是第七軍軍長，帶兵投入戰(zhàn)場。1938年武漢會戰(zhàn)，他率部在長江北岸作戰(zhàn)，堅持了幾個月，損失不小但守住了陣地。

1939年隨棗會戰(zhàn)，他又指揮部隊在湖北隨縣棗陽一帶阻擊日軍，多次反擊，幫著穩(wěn)住戰(zhàn)線。1940年代，他升到第二十一集團(tuán)軍副總司令，還管第七綏靖區(qū)，負(fù)責(zé)華中軍務(wù)。

作為桂系骨干，他一直緊跟白崇禧和李宗仁，軍中人知道他迷信風(fēng)水，作戰(zhàn)前總愛用羅盤測方位，這讓他得了“羅盤將軍”的外號。

整個職業(yè)生涯，他從底層軍官干到中將，靠的是桂系內(nèi)部的派系支持和戰(zhàn)場上的表現(xiàn)，但他的迷信習(xí)慣在軍中傳開，影響了部隊的決策方式。

他不是黃埔系，根基在廣西，這點后來成了他和蔣介石矛盾的根源之一。桂系一直有獨立傾向，張淦效忠白李兩人，執(zhí)行他們的命令多過中央的，這在國民黨內(nèi)部不算秘密。

淮海戰(zhàn)役從1948年11月6日開打，到1949年1月10日結(jié)束，這場仗國民黨輸?shù)脩K，損失幾十萬兵力，蔣介石把怨氣撒到很多人頭上，但對張淦的恨特別深。

張淦當(dāng)時管第三兵團(tuán)，駐扎武漢一帶，蔣介石多次下令讓他東進(jìn)救援黃維兵團(tuán)和杜聿明集團(tuán)，可白崇禧不放人，張淦作為副手嚴(yán)格執(zhí)行，兵團(tuán)一動不動，還擋著其他部隊前進(jìn)。

蔣介石在南京急得發(fā)火，電報一封接一封，但張淦那邊像沒聽見似的。黃維兵團(tuán)在蒙城被圍，求援電報不斷，張淦兵團(tuán)離得不遠(yuǎn)，本來能及時趕到，但因為桂系想保存實力，順帶讓蔣介石吃虧，好讓李宗仁上位，張淦就拖著不走。

結(jié)果黃維兵團(tuán)全軍覆沒，杜聿明集團(tuán)也在徐州周邊撐不住。蔣介石后來在日記里罵張淦是罪魁禍?zhǔn)祝J(rèn)為他的阻撓直接導(dǎo)致淮海敗局。要知道，王耀武在濟(jì)南丟城，蔣介石氣他投降后還勸別人投，但王耀武敗因有陳誠指揮不當(dāng)?shù)囊蛩?，蔣介石心里有數(shù)，沒那么恨。

杜聿明是黃埔嫡系，在東北打得還行，調(diào)到徐州沒實權(quán)還得執(zhí)行命令，蔣介石覺得他忠心耿耿，不好全怪他頭上。張淦不一樣，他是桂系人，效忠白李，對蔣的命令陽奉陰違，這在蔣看來是赤裸裸的背叛。

國民黨內(nèi)部派系斗爭激烈，桂系和中央系一直不對付，淮海時白崇禧公開抗命，張淦具體操作，蔣介石覺得這不光是戰(zhàn)場失誤，還是政治上的捅刀子。

戰(zhàn)役結(jié)束后，張淦帶殘部南撤，1949年春夏在湖南重組部隊，繼續(xù)抵抗。9月上旬，他在湖南青樹坪打了個小勝仗，俘虜一些解放軍士兵，短暫提振士氣。

蔣介石為此提升他為華中軍政長官公署副長官，但大局已定。11月29日，白崇禧南線攻勢失敗，張淦率兩萬多人從玉林退到博白，想從合浦海路逃跑。12月1日，解放軍突襲博白縣城，張淦在住處被俘，大部司令部人員一同落網(wǎng)。