黎玉1926年加入中國共產(chǎn)黨后，就一直在北方搞地下工作，組織工人運(yùn)動(dòng)和農(nóng)民運(yùn)動(dòng)，經(jīng)歷過不少風(fēng)險(xiǎn)。1936年春天，中共中央北方局派他到山東當(dāng)省委書記。那時(shí)候山東黨的組織因?yàn)榕淹匠鲑u被破壞得很嚴(yán)重，黨員剩下不到五百人，各地聯(lián)系基本斷了。

黎玉一個(gè)人騎自行車從河北出發(fā)，到了濟(jì)南后，先是拉黃包車掩護(hù)身份，慢慢聯(lián)系上趙健民和林浩這些人。

1936年5月1日，他們在濟(jì)南四里山北邊一個(gè)墳地里開會(huì)，重建了山東省委，黎玉擔(dān)任書記。省委剛成立的時(shí)候條件很差，就三個(gè)人，黎玉換上貨郎衣服走村串戶，到沂蒙山區(qū)、膠東農(nóng)村和煤礦區(qū)宣傳抗日，發(fā)展黨員，組織窮人會(huì)。

1937年10月，日軍逼近山東，韓復(fù)榘的軍隊(duì)往南跑，局面亂成一鍋粥。省委遷到泰安，黎玉主持會(huì)議，決定發(fā)動(dòng)武裝起義，重點(diǎn)放在徂徠山。1938年1月1日，徂徠山起義成功，成立山東人民抗日游擊隊(duì)第四支隊(duì)，黎玉兼任政治委員。

省委還組織了第五支隊(duì)、第三支隊(duì)、第八支隊(duì)和泰西人民抗敵自衛(wèi)團(tuán)，全省抗日武裝發(fā)展到幾萬人。這些隊(duì)伍都是當(dāng)?shù)乩习傩蘸蛺蹏嗄昀饋淼模淦鞑?，干部少，游擊?xí)氣重，經(jīng)驗(yàn)也不足。

黎玉覺得這樣下去不行，得向中央?yún)R報(bào)，爭取支援。1938年3月底，他帶了泰安的馮平、新泰的郭云青、費(fèi)縣的高其貴等同志，從萬壽宮出發(fā)，步行穿過敵占區(qū)，4月初到了延安。

黎玉到延安后，向毛澤東詳細(xì)匯報(bào)了山東的情況：各地起義部隊(duì)已經(jīng)發(fā)展到幾千人，控制部分鄉(xiāng)村，但武器主要是土槍大刀，干部缺正規(guī)訓(xùn)練，裝備簡陋，給養(yǎng)困難，急需主力部隊(duì)和骨干干部。他提出請求，希望中央派一個(gè)主力團(tuán)到山東，加強(qiáng)作戰(zhàn)能力。

毛澤東聽完匯報(bào)后，肯定了山東同志抓住時(shí)機(jī)建立武裝的工作，說山東戰(zhàn)略位置重要，游擊戰(zhàn)爭大有可為。談到派兵，毛澤東表示同意派干部，同時(shí)指出一個(gè)團(tuán)不夠，看來還要多派一些。

1938年5月，派郭洪濤帶干部到山東。8月下旬，黎玉和張經(jīng)武率一百二十多名軍政干部離開延安，返回山東，11月抵達(dá)蘇魯豫皖邊區(qū)省委駐地。

12月27日，根據(jù)中央指示，八路軍山東縱隊(duì)在沂水縣王莊成立，張經(jīng)武任指揮，黎玉任政治委員，下轄九個(gè)支隊(duì)和一個(gè)總隊(duì)，部隊(duì)達(dá)到兩萬四千多人。山東縱隊(duì)成立后，和地方武裝配合，創(chuàng)建根據(jù)地，擴(kuò)大游擊區(qū)，訓(xùn)練干部，發(fā)展群眾組織。

1938年11月25日，中央軍委決定由陳光代理師長、羅榮桓任政委，率第一一五師師部和第三四三旅主力挺進(jìn)山東。12月下旬，部隊(duì)從晉西靈石出發(fā)，穿越同蒲路和平漢路，克服封鎖和敵情，1939年3月進(jìn)入山東境內(nèi)。

先頭部隊(duì)在魯西南和冀魯邊活動(dòng)，3月3日在鄆城西北樊壩打了一仗，全殲偽軍一個(gè)團(tuán)，打開運(yùn)西局面。主力到達(dá)泰西地區(qū)，和山東縱隊(duì)第六支隊(duì)會(huì)合，協(xié)助建立政權(quán)，瓦解反動(dòng)會(huì)道門，拔除偽軍據(jù)點(diǎn)。

5月，在肥城以南陸房地區(qū)，日偽軍八千多人分九路圍攻。部隊(duì)依托山地阻擊，邊打邊轉(zhuǎn)移，5月下旬突圍，殲敵一千三百多人。此后，師部機(jī)關(guān)部分人員越過津浦路，進(jìn)入費(fèi)縣西北，配合地方武裝開辟新區(qū)。

抗日勝利后，黎玉擔(dān)任中共華東中央局副書記、新四軍兼山東軍區(qū)副政委等職。新中國成立后，他歷任上海市委秘書長、中央人民政府委員，第一機(jī)械工業(yè)部副部長、農(nóng)業(yè)機(jī)械部常務(wù)副部長等職務(wù)。1986年5月30日，他在北京病逝，享年八十歲。