1928年6月2日，謝雪紅被釋放后，做的第一件事就是重建臺共黨中央。由于蔡孝乾等黨員遠避大陸，謝雪紅于1928年11月在臺北召開了僅有林日高、莊春火參加的第一次重建的臺共黨中央會議，會議決定林日高任書記兼組織部長，莊春火任勞動部長兼宣傳部長，謝雪紅任中央委員。開除逃亡大陸的蔡孝乾、侯朝宗、潘欽信和謝玉葉黨籍，吸收農(nóng)民組合的楊克培和楊春松為新黨員，再就是為了掩護黨的活動，決定在臺北開設(shè)國際書局。

謝雪紅的另一個舉措就是逐步滲透新文協(xié)和當時臺灣最大的社會團體臺中農(nóng)民組合。通過在這些組織中發(fā)展少壯黨員，以慢慢取得領(lǐng)導(dǎo)權(quán)。先是利用共產(chǎn)國際批判日共山川均主義的時機支持王敏川奪取了與山川均有關(guān)聯(lián)的連溫卿的領(lǐng)導(dǎo)權(quán)。后來，農(nóng)民組合的領(lǐng)導(dǎo)人簡吉、趙港、楊春松、楊克培等人相繼主動拜訪謝雪紅，希望能夠得到臺共黨的支持。之前，農(nóng)民組合在殖民政府的高強度打壓之下也已經(jīng)走向了左傾，而且農(nóng)民組合以前是在日本勞動農(nóng)民黨的幫助下成長起來的，但日本勞動農(nóng)民黨在日本國內(nèi)的3.15大檢舉中被強行解散，農(nóng)民組合失去了外援，再加上內(nèi)部本身也存在分裂的危險，所以，能夠得到臺共黨的支持是很重要的。謝雪紅自然不會拒絕。于是，短短幾個月間，新文協(xié)和農(nóng)民組合就成了臺共黨的外圍組織。

謝雪紅的建黨策略是成功的，臺共黨的黨員人數(shù)不斷增加，外圍組織也在不斷地擴大，力量在加強。但隨著一些年輕的黨員開始取得外圍組織的領(lǐng)導(dǎo)權(quán)后，就開始對謝雪紅隱蔽建黨的方針發(fā)生了不滿和抵制，他們認為1929年全球爆發(fā)的經(jīng)濟危機對革命形勢是非常有利的，應(yīng)該積極主動有所作為。謝雪紅則認為在殖民政府的極力打壓之下，還是應(yīng)該隱蔽發(fā)展，以合法掩護非法，對合法公開的團體或組織進行漸進式的滲透并最終取得領(lǐng)導(dǎo)權(quán)，以壯大臺共黨的力量。另外，雙方在發(fā)展工農(nóng)運動的問題上上也有分歧。

農(nóng)民組合

更致命的是，謝雪紅是在臺灣獨立重建臺共黨的，并沒有得到共產(chǎn)國際和日共的批準和承認，也沒有取得和與組織上的聯(lián)系和得到有力的支持，對中共也保持敬而遠之的態(tài)度，一切都是自己在摸索。而少壯派們則希望有一個強有力的有資源有靠山的黨中央來領(lǐng)導(dǎo)大干一場，他們質(zhì)疑黨中央的權(quán)威性和正當性，因此，臺共黨開始分裂。

無奈之下，謝雪紅于1930年派遣林日高奔赴上海與共產(chǎn)國際和中共聯(lián)系，向共產(chǎn)國際匯報臺共黨的現(xiàn)狀，林日高受到了翁澤生的冷淡，一無所獲空手返回臺灣，一氣之下，宣布脫黨，隨后，莊春火也宣布脫黨。后來，謝雪紅又派陳德興奔赴上海，最后帶回來的是共產(chǎn)國際對她的批評和責令改革的指示。負責聯(lián)絡(luò)共產(chǎn)國際的翁澤生還特地交代陳德興，如果謝雪紅不同意或者拒絕接受指示，可以向新文協(xié)的領(lǐng)導(dǎo)人王萬得及農(nóng)民組合的領(lǐng)導(dǎo)人趙港報告，令他們準備改革。

關(guān)于翁澤生和謝雪紅的分歧有很多種說法，有一種說法主要在于本土意識和中國意識的認同上，謝雪紅由于受共產(chǎn)國際和日本共產(chǎn)黨的影響比較大，再加上她具有強烈的臺灣本土意識，所以她自始至終比較抗拒中共對臺共黨的介入，而且臺共黨成立時和謝雪紅重建后的黨的決議上都很清楚的強調(diào)臺灣的獨立，這就不能不讓人懷疑和產(chǎn)生嫌隙。而翁澤生從小便被送往大陸學(xué)習，又是瞿秋白的學(xué)生，中國意識和民族認同感非常強烈，所以他和謝雪紅的分歧是不容調(diào)和的。這種說法有一定的道理，但臺共黨黨章上的決議我覺得還是要從當時的現(xiàn)狀來分析，畢竟這個所謂的獨立是針對殖民地而言的。

而令人不解的是三十年代的中國共產(chǎn)黨無論是在共產(chǎn)國際還是中共黨內(nèi)，都在批判左傾盲動主義，瞿秋白也遭受了嚴厲的批評，為什么在同樣的情況之下，翁澤生以及共產(chǎn)國際東方局卻在批評臺共黨太過謹慎太過隱蔽？從而鼓勵大干主動出擊，這個令人很是不解。

事情的發(fā)展是，謝雪紅果然拒絕執(zhí)行共產(chǎn)國際的指示，認為這是翁澤生假傳圣旨以圖分裂臺共黨。而王萬得則以此為依據(jù)召集對謝雪紅不滿的黨員，組織反謝雪紅同盟。

從1930年12月27日開始，王萬得先后召集各行業(yè)工會的負責人蘇新、蕭來福、陳德興、趙港等人開會，批判謝雪紅為首的黨中央犯了閉鎖主義、不動主義的錯誤，成立改革聯(lián)盟，重新選舉蘇新、陳德興、蕭來福、王萬得為新的中央委員，臺共黨正式分裂。

1931年4月，曾經(jīng)被謝雪紅開除了黨籍的潘欽信回到臺灣帶回翁澤生傳達的共產(chǎn)國際的指令，并決定由潘欽信根據(jù)共產(chǎn)國際的指令擬定政治綱領(lǐng)草案，召開臨時大會，最后一致通過接受中共的指導(dǎo)和開除謝雪紅、楊克培、楊克煌、林木順的黨籍，于是，改革同盟獲得了領(lǐng)導(dǎo)權(quán)。

改革同盟獲勝了，但臺共黨的最后時刻也來臨了。其實，早在謝雪紅回臺重建臺共黨后，日本殖民政府就已經(jīng)懷疑有共產(chǎn)黨在活動，但由于謝雪紅的謹慎和小心，一直沒有找到證據(jù)。后來少壯派們與謝雪紅產(chǎn)生分歧后，就不聽從謝雪紅的勸告，活動越來越活躍，越來越激進，越來越公開化，終于被日本警方掌握了他們的活動軌跡。

1931年3月24日，陳春木被捕。

4月9日，陳德興被捕。

6月26日，謝雪紅、楊克培被捕。

7月15日，劉守鴻被捕。

7月17日，王萬得被捕。

7月底，蕭來福被捕。

9月1日，潘欽信、簡氏娥被捕。

9月13日，蘇新被捕。

9月18日，莊守被捕。

大搜捕中，臺共黨人被捕79人，判刑49人，至此，臺共黨再次瓦解。

1932年，翁澤生派遣張志忠回臺灣重組臺共黨。

1933年，張志忠在臺灣，翁澤生在上海分別被捕，張志忠裝瘋獲保釋后逃回大陸。

翁澤生作為日本殖民政府通緝名單上的最后一位臺共黨黨員被捕，代表著臺共黨在臺灣的完全崩潰。后來，翁澤生被遣送回臺灣，被判刑13年，1939年翁澤生因病危獲得保釋，不久病逝，年37。

謝雪紅被判刑13年，于1940年因病保釋。直到日本投降，謝雪紅與楊克煌一直經(jīng)營著一家百貨店，且一直處在日本警方的監(jiān)視中。

1946年3、4月間，臺工委最優(yōu)秀的領(lǐng)導(dǎo)人張志忠返回臺灣，他的任務(wù)是:創(chuàng)建中國共產(chǎn)黨臺灣工作委員會。于是，唱響了臺共黨歷史上最后的悲歌。