北京時(shí)間10月14日(周二)晚8點(diǎn)，將門-TechBeat人工智能社區(qū)參與的直播活動(dòng)一起聊聊“平衡多模態(tài)學(xué)習(xí)”將在視頻號(hào)準(zhǔn)時(shí)直播。

本活動(dòng)由中國人民大學(xué)高瓴人工智能學(xué)院GeWu-Lab組織策劃，邀請(qǐng)到了中國科學(xué)院計(jì)算技術(shù)研究所博士生華聰、 國防科技大學(xué)研究 生王方地、 東南大學(xué)博士生馬驍宇、 北京航空航天大學(xué)本科生倪浩天、 北京郵電大學(xué)本科生黃成祥。 讓我們通過他們的視角一起聊聊“平衡多模態(tài)學(xué)習(xí)”。

點(diǎn)擊下方“預(yù)約”，鎖定直播

直播介紹

主題：一起聊聊“平衡多模態(tài)學(xué)習(xí)”

時(shí)間：2025年10月14日(周二)晚 8:00-9:30

簡介：隨著多模態(tài)學(xué)習(xí)的快速發(fā)展，研究者們?cè)絹碓揭庾R(shí)到，不同模態(tài)的數(shù)據(jù)（比如視覺、語言、音頻等）在表達(dá)能力、數(shù)據(jù)分布和信息粒度上存在顯著差異。如果在融合過程中缺乏合理的調(diào)控機(jī)制，就容易出現(xiàn)“強(qiáng)模態(tài)更強(qiáng)、弱模態(tài)被忽視”的情況——有的模態(tài)被過度依賴，而有的模態(tài)則被邊緣化甚至抑制。這種模態(tài)學(xué)習(xí)上的不平衡，不僅會(huì)限制模型整體性能的提升，還可能影響它在真實(shí)復(fù)雜場(chǎng)景中的泛化與魯棒性。因此，如何讓不同模態(tài)“各展所長、協(xié)同共進(jìn)”，實(shí)現(xiàn)多模態(tài)學(xué)習(xí)的平衡與高效利用，已經(jīng)成為近年來備受關(guān)注的研究話題。

本次 Workshop 邀請(qǐng)了多位在國際頂級(jí)會(huì)議（ICML、NeurIPS、CVPR 等）上發(fā)表論文的優(yōu)秀講者，他們將帶來在“平衡多模態(tài)學(xué)習(xí)”方面的最新進(jìn)展。他們的工作涵蓋了從 Boosting 框架下的模態(tài)對(duì)齊、基于 Shapley 值的多視圖協(xié)作增強(qiáng)、通過 Data Remixing 改善模態(tài)平衡性與充分性，到 Transformer 中跨模態(tài)協(xié)作動(dòng)態(tài)的重建、以及單模態(tài)自適應(yīng)調(diào)控機(jī)制等多個(gè)前沿方向。

除了報(bào)告分享外，本次 Workshop 還將同步推出一篇系統(tǒng)梳理平衡多模態(tài)學(xué)習(xí)近年進(jìn)展的專題 Blog。該 Blog 將從問題定義、方法演化和未來挑戰(zhàn)等方面，對(duì)近年來平衡多模態(tài)學(xué)習(xí)相關(guān)工作的代表性成果進(jìn)行總結(jié)與分析，幫助研究者快速了解該領(lǐng)域的發(fā)展全貌與前沿動(dòng)向。同時(shí)，我們也設(shè)立了討論群組，提供一個(gè)持續(xù)交流、思想碰撞與合作探索的平臺(tái)。期待更多同學(xué)加入，共同推動(dòng)多模態(tài)學(xué)習(xí)的平衡與進(jìn)步！

Blog鏈接：

https://gewu-lab.github.io/blog/balanced-multimodal-learning

討論群組鏈接：

https://github.com/GeWu-Lab/awesome-balanced-multimodal-learning

Panel議題：

1.如果給定“無限數(shù)據(jù)”和“無限算力”，多模態(tài)學(xué)習(xí)是否仍然會(huì)受限于平衡問題？

2. 是否應(yīng)該“刻意制造不平衡”？ 在某些任務(wù)中，模態(tài)之間的效用并不均衡，例如醫(yī)療診斷中主要依賴影像決策，是否應(yīng)該主動(dòng)“弱化”某些模態(tài)，而不是一味追求全模態(tài)融合？

3. 解決模態(tài)失衡問題與實(shí)現(xiàn)更優(yōu)質(zhì)的多模態(tài)學(xué)習(xí)之間存在著怎樣的關(guān)聯(lián)？

4. 多模態(tài)大模型里面有不平衡嗎？有的話會(huì)有什么影響，又該如何解決？

講者介紹

華聰

中國科學(xué)院計(jì)算技術(shù)研究所博士生

中國科學(xué)院計(jì)算技術(shù)研究所博士生，師從黃慶明教授和許倩倩研究員。主要研究方向?yàn)槎嗄B(tài)學(xué)習(xí)、大模型微調(diào)等。目前在國際會(huì)議ICML發(fā)表一作論文2篇，獲得CVPR國際競(jìng)賽冠軍2項(xiàng)。擔(dān)任ICML/NeurIPS/ICLR/TCSVT/TNNLS等會(huì)議和期刊審稿人。

王方地

國防科技大學(xué)計(jì)算機(jī)院研究生

國防科技大學(xué)計(jì)算機(jī)院劉新旺團(tuán)隊(duì)研究生，師從祝恩教授和劉新旺教授。主要研究方向?yàn)槎嘁晥D學(xué)習(xí)。目前在累計(jì)在國際會(huì)議和期刊上發(fā)表論文5篇，其中以第一作者在NeurIPS和ACM MM各發(fā)表論文1篇。擔(dān)任NeurIPS/ACM MM/AAAI等會(huì)議和期刊審稿人。

馬驍宇

東南大學(xué)博士生

東南大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)博士生，導(dǎo)師為PALM實(shí)驗(yàn)室的陳浩副教授。于2025年獲得東南大學(xué)軟件工程學(xué)士學(xué)位，現(xiàn)研究方向?yàn)榭山忉尩亩嗄B(tài)學(xué)習(xí)。

倪浩天

北京航空航天大學(xué)本科生

北京航空航天大學(xué)本科生，人大高瓴GeWu Lab實(shí)習(xí)生。主要研究方向?yàn)槎嗄B(tài)學(xué)習(xí)與生成模型。

黃成祥

北京郵電大學(xué)本科生

北京郵電大學(xué)本科生，主要研究方向?yàn)槎嗄B(tài)學(xué)習(xí)，聯(lián)邦學(xué)習(xí)等。目前為人大高瓴GeWu Lab實(shí)習(xí)生。

組織者

衛(wèi)雅珂

中國人民大學(xué)博士生

中國人民大學(xué)高瓴人工智能學(xué)院博士生，導(dǎo)師為胡迪副教授。在博士期間的主要研究聚焦于多模態(tài)學(xué)習(xí)機(jī)制。目前在計(jì)算機(jī)領(lǐng)域頂級(jí)會(huì)議和期刊上發(fā)表學(xué)術(shù)論文共13篇，其中獨(dú)立第一作者5篇。獨(dú)立一作論文包括國際頂級(jí)期刊T-PAMI論文和多篇國際頂級(jí)會(huì)議如NeurIPS（入選Oral）、ICML、CVPR、ECCV論文等。博士就讀期間曾獲博士生國家獎(jiǎng)學(xué)金、2024年百度獎(jiǎng)學(xué)金等。

胡迪

中國人民大學(xué)高瓴人工智能學(xué)院副教授、博導(dǎo)

現(xiàn)任中國人民大學(xué)高瓴人工智能學(xué)院副教授，博導(dǎo)。主要研究方向?yàn)闄C(jī)器多模態(tài)感知、交互與學(xué)習(xí)，以主要作者在TPAMI/ICML/CVPR/CoRL等人工智能頂級(jí)期刊及會(huì)議發(fā)表論文60余篇，代表性工作如視音指代分割與問答；平衡多模態(tài)學(xué)習(xí)理論，機(jī)制與方法；面向物體操縱的視聽觸多模態(tài)交互等。作為副主編出版本科教材一部。曾入選 CVPR Doctoral Consortium；榮獲2020中國人工智能學(xué)會(huì)優(yōu)博獎(jiǎng)；榮獲2022年度吳文俊人工智能優(yōu)秀青年獎(jiǎng)；入選第七屆中國科協(xié)青托計(jì)劃、微軟鑄星學(xué)者、智源學(xué)者等。所指導(dǎo)學(xué)生獲百度獎(jiǎng)學(xué)金（全球10人）。擔(dān)任ICLR、AAAI、IJCAI Senior PC等，主辦/協(xié)辦多場(chǎng)國際頂級(jí)會(huì)議的多模態(tài)學(xué)習(xí)講習(xí)班（Tutorial）。

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈