1938年5月，日軍占領(lǐng)華中重鎮(zhèn)徐州后，沿隴海路向西進(jìn)犯，河南面臨淪陷危機(jī)。在這危急關(guān)頭，中共河南省委派省委組織部長吳芝圃，以豫東特委書記身份，深入敵后，發(fā)動(dòng)和領(lǐng)導(dǎo)該地區(qū)的抗日武裝斗爭(zhēng)。

5月下旬，在杞縣即將淪陷的前夕，吳芝圃只身回到闊別多年的家鄉(xiāng)杞縣趙村。

他回鄉(xiāng)后，利用人地兩熟的條件，奔走在睢杞大地的農(nóng)村、學(xué)校和各界愛國人士間，廣泛發(fā)動(dòng)群眾，團(tuán)結(jié)各界愛國力量，加之睢、杞兩地黨組織先前已做了大量工作，在短時(shí)期內(nèi)就組建起了一支200多人的抗日武裝。

1938年6月10日，睢杞兩縣的抗日戰(zhàn)士集合在杞縣大鄭莊的打麥場(chǎng)上，隊(duì)前架起6挺烏黑發(fā)亮的機(jī)槍。吳芝圃鄭重宣布“睢杞抗日游擊大隊(duì)”成立。他說，我們是中國共產(chǎn)黨領(lǐng)導(dǎo)的抗日武裝，我們的任務(wù)是開展抗日游擊戰(zhàn)爭(zhēng)，打擊敵人，保護(hù)人民。全體指戰(zhàn)員都要遵守三大紀(jì)律、八項(xiàng)注意。全大隊(duì)200多人，分為兩個(gè)中隊(duì)。

為了打擊日偽力量，擴(kuò)大抗日游擊隊(duì)的影響，睢杞大隊(duì)決定消滅盤踞在睢縣長崗的漢奸民團(tuán)張心貞部。該部勾結(jié)日軍、為害鄉(xiāng)里、無惡不作，尤其是在睢杞大隊(duì)成立后，為了對(duì)抗我抗日武裝，竟殘酷殺害我黨領(lǐng)導(dǎo)干部李省三，氣焰十分囂張。

6月24日，部隊(duì)在杞縣英王村召開了李省三烈士追悼大會(huì)，并作為戰(zhàn)前動(dòng)員。吳芝圃悲憤地述說了李省三同志遇害經(jīng)過和慘狀，敵人將其殺害后，還極其殘忍地將尸體斬首截肢，大卸八塊。

會(huì)后，戰(zhàn)士們悲憤填膺，個(gè)個(gè)臂纏白紗，揮淚奔赴前線。經(jīng)過激戰(zhàn)，攻入寨內(nèi)，張心貞等龜縮至一炮樓內(nèi)，據(jù)險(xiǎn)固守。為減少傷亡，吳芝圃下令圍而不攻。經(jīng)過兩天圍困，敵人斷水缺糧，亂作一團(tuán)。

張心貞派匪徒送信詐降。正當(dāng)吳芝圃閱信時(shí)，匪徒掏出手槍對(duì)準(zhǔn)了他，在這千鈞一發(fā)之際，一名戰(zhàn)士推倒吳芝圃，砰的一槍將匪徒打死。張心貞無計(jì)可施，帶殘部挖地洞逃竄，戰(zhàn)斗勝利結(jié)束。

此戰(zhàn)殲敵百余，繳槍400余支，子彈2000余發(fā)。戰(zhàn)斗結(jié)束后，吳芝圃率領(lǐng)部隊(duì)亮兵游行，群眾夾道歡呼，有人編兒歌唱道：“吳芝圃呱呱叫，打得張心貞喝馬尿，乘夜挖洞逃，老窩被端掉。”

長崗大捷之后，我黨領(lǐng)導(dǎo)的抗日武裝聲威大振，許多青年踴躍參加游擊隊(duì)，隊(duì)伍進(jìn)一步壯大。為了統(tǒng)一領(lǐng)導(dǎo)和健全組織，1938年7月，吳芝圃在杞縣傅集召開睢、杞、太三縣黨組織和游擊隊(duì)負(fù)責(zé)人會(huì)議。

會(huì)議決定成立“豫東人民抗日游擊第三支隊(duì)”，司令員吳芝圃，副司令員王海山、孟海若，政治部主任王靜敏。支隊(duì)下轄3個(gè)大隊(duì)和1個(gè)特務(wù)中隊(duì)，約1800人。這支部隊(duì)，活躍在日偽統(tǒng)治下的豫東地區(qū)，與廣大人民群眾一起，屢屢給敵人以沉重打擊。

1938年9月，吳芝圃奉命率“三支隊(duì)”西進(jìn)，與東進(jìn)的彭雪楓部會(huì)師。至此結(jié)束了他在豫東地區(qū)初創(chuàng)抗日武裝的工作。

1938年9月中旬，中共河南省委根據(jù)中共中央和長江局“應(yīng)將工作重心移向豫東，創(chuàng)造豫皖蘇魯邊新局面”的指示，令吳芝圃率“三支隊(duì)”西進(jìn)，開往西華一帶待命。

時(shí)在確山縣竹溝鎮(zhèn)的彭雪楓，接周恩來9月29日“速去豫東開展游擊”急電，第二天即率領(lǐng)373人，誓師東進(jìn)，于10月上旬，到達(dá)西華縣城，與吳芝圃率領(lǐng)的豫東人民抗日游擊第三支隊(duì)、蕭望東率領(lǐng)的新四軍游擊支隊(duì)先遣大隊(duì)會(huì)合。

10月11日，在西華城北的杜崗村召開會(huì)師大會(huì)，正式宣布這三支部隊(duì)合編為“新四軍游擊支隊(duì)”。彭雪楓任司令員兼政委，副司令員吳芝圃，參謀長張震，政治部主任蕭望東。10月12日，中共中央批準(zhǔn)游擊支隊(duì)成立黨政軍委員會(huì)，以彭雪楓、吳芝圃、張震、蕭望東、岳夏為委員，彭雪楓為主席。從此，豫東敵后有了一支開展游擊戰(zhàn)爭(zhēng)的堅(jiān)強(qiáng)武裝力量。

在合編后的游擊支隊(duì)中，大多數(shù)指戰(zhàn)員來自三支隊(duì)。其中有些干部、戰(zhàn)士存在著地方主義、山頭主義等錯(cuò)誤傾向，吳芝圃從黨的利益出發(fā)，顧全大局，主動(dòng)到他們中間做深入細(xì)致的政治思想工作，反復(fù)講明共產(chǎn)黨員必須無條件服從黨的決定和“黨指揮槍”的道理，以及加強(qiáng)團(tuán)結(jié)、加強(qiáng)組織紀(jì)律性的重要意義。

他處處以身作則，維護(hù)黨的團(tuán)結(jié)，保證了部隊(duì)整編工作的順利進(jìn)行。受到了全支隊(duì)同志們的贊揚(yáng)和尊敬。

部隊(duì)整編后，在淮陽與日軍作戰(zhàn)，取得首戰(zhàn)勝利。隨后向肖、宿、永、夏、碭挺進(jìn)，逐步開辟了豫皖蘇抗日根據(jù)地。1939年1月，為了執(zhí)行“擴(kuò)軍、籌款、接干部”三大任務(wù)，吳芝圃奉命率領(lǐng)300多人二返睢杞太。在此期間，與敵偽進(jìn)行了多次激烈的戰(zhàn)斗。

由于他人地兩熟，指揮自如，接連獲勝。其一戰(zhàn)荊崗，全殲偽匪李繼書300余人，繳獲大批彈藥物資；李的屬下曹德林率200余人投降接受整編；二戰(zhàn)大朱莊，俘獲偽匪朱子固，殲其部150余人；三戰(zhàn)尹店，殲偽匪劉志立400余人，繳獲重機(jī)槍2挺、輕機(jī)槍5挺、長短槍200多支，子彈6000余發(fā)。隨后又打了3仗，也都取得了重大勝利。

3月中旬，他率部與冀魯豫支隊(duì)司令員楊得志率領(lǐng)的部隊(duì)會(huì)師，迎接送來的130名干部。在淪陷區(qū)，八路軍與新四軍部隊(duì)勝利會(huì)師，士氣大振。稍后，兩支部隊(duì)在練城聯(lián)合作戰(zhàn)，殲滅偽頑郭德俊部千余人。次日，楊部在南機(jī)屯殲偽頑300余人后回師華北。

3月下旬在杞縣瓦崗，吳芝圃率部與日軍相遇，敵2000余人，坦克7輛，裝甲車14輛，汽車82輛，在敵我兵力和裝備極為懸殊的情況下，我軍頑強(qiáng)奮戰(zhàn)，激戰(zhàn)竟日，斃敵數(shù)十名后，破圍轉(zhuǎn)移。

次日，由于三大任務(wù)業(yè)已完成，吳芝圃率部返回新四軍游擊支隊(duì)駐地，受到彭雪楓司令員、張震參謀長等親自迎接。后來，以他這次帶回的千人隊(duì)伍為基礎(chǔ)，建立了第三團(tuán)，成為支隊(duì)三大主力團(tuán)之一。

由于吳芝圃在地方的巨大影響和他善于發(fā)動(dòng)群眾，豫東人民把自己的子弟和物資一批一批地送到前線，補(bǔ)充我軍的兵員和給養(yǎng)，彭雪楓曾風(fēng)趣地稱贊吳芝圃是“革命的老母雞”。

1939年8月，中共中央決定建立豫皖蘇邊區(qū)黨委，任命吳芝圃為邊區(qū)黨委書記和行署主任。在邊區(qū)黨委和游擊支隊(duì)的共同努力下，先后建立了永城、夏邑、肖縣、宿西、亳北等5個(gè)抗日縣政府，成立了各級(jí)群眾抗日組織，在打擊日軍、清除漢奸和發(fā)展生產(chǎn)、減租減息、改善人民生活等方面都取得很大成績。

至1940年7月，豫皖蘇根據(jù)地進(jìn)一步擴(kuò)大和鞏固，以永城為中心，東到皖東北，西抵睢杞太，北依隴海路，南至淮上廣大地區(qū)，活動(dòng)范圍達(dá)50余縣。

在軍事方面，1940年1月30日，根據(jù)新四軍軍部命令，游擊支隊(duì)改番號(hào)為“新四軍第六支隊(duì)”，司令員彭雪楓，副司令員吳芝圃。全支隊(duì)已發(fā)展至17800人。

1940年4月，毛主席寫信表揚(yáng)豫皖蘇黨委：“一年來，豫皖蘇邊區(qū)迅速得到發(fā)展，部隊(duì)和地方武裝不斷得到擴(kuò)大，你們的工作很有起色，中央對(duì)你們?nèi)〉玫某煽兩畋頋M意?！?/strong>

吳芝圃的政治思想工作極為出色，他以誠待人，以德感人，以理服人。

1940年夏初，吳芝圃隨新四軍第四師轉(zhuǎn)移至淮北蘇皖邊區(qū)，任新四軍四師政治部代理主任、主任，這一時(shí)期他以部隊(duì)的政治思想工作為主。

1942年反掃蕩結(jié)束后，針對(duì)當(dāng)時(shí)存在的混亂思想，他在干部會(huì)上做了《共產(chǎn)黨員的享受觀》的報(bào)告，1943年6月，在邊區(qū)黨政軍干部大會(huì)上做《反對(duì)不良傾向，鏟除個(gè)人主義》的報(bào)告。

“他指出，毛主席政治軍事思想的特點(diǎn)就是調(diào)查研究，實(shí)事求是，從實(shí)際出發(fā)，就是把馬列主義同中國的實(shí)際相結(jié)合。吳芝圃同志這個(gè)報(bào)告，對(duì)于當(dāng)時(shí)師直機(jī)關(guān)的整風(fēng)起了很大的推動(dòng)作用?！?/strong>

十年后，在抗美援朝的戰(zhàn)場(chǎng)上，四師老同志張景華（時(shí)任志愿軍9兵團(tuán)政治部宣傳部長）與曾在淮北工作過的朝鮮同志崔達(dá)彥巧遇。二位老戰(zhàn)友在回憶往事時(shí)，崔達(dá)彥還深情地講起當(dāng)年聽吳芝圃做整風(fēng)報(bào)告的情景，他還一直珍藏著記錄報(bào)告內(nèi)容的筆記本?？梢娺@些報(bào)告感人之深。

李波人還寫道：“大家更欽佩芝圃同志的高尚品德和情操。他艱苦樸素，平易近人……和人談話總是滿腔熱忱，誠摯坦率，層次分明。他那憨厚的面容，溫和的目光，總是那么令人愿意和他接近。沒有一個(gè)人看到他對(duì)同志發(fā)過脾氣，沒有一個(gè)人聽說過他罵過人。”

“他雖然不做基層思想政治工作，但同志們都愿意找他談心。同志們都說，不論多么調(diào)皮的干部，不論有多少牢騷話，組織部門說不服，到了芝圃同志面前，經(jīng)過他的指點(diǎn)，就自然而然心平氣和地接受分配工作了。沒有一個(gè)人在他面前發(fā)牢騷、講怪話、?；ㄕ?，因?yàn)樗偸且哉\待人、以德感人、以理服人?！?/p>

1944年8月，吳芝圃與彭雪楓、張震率領(lǐng)新四軍四師一部，開往津浦路西，打擊日寇和偽頑，開辟和建立了淮北路西抗日根據(jù)地，下轄8個(gè)抗日民主縣政府，53個(gè)區(qū)，人口約200萬。吳芝圃任淮北路西地委書記，直至抗戰(zhàn)勝利。