隨著人工智能的發(fā)展，AI輔助教練技術(shù)有望突破專業(yè)教練資源稀缺的限制，實現(xiàn)個性化、低成本的技能指導。然而，現(xiàn)有方法通常依賴于大量專家標注和單一領(lǐng)域的訓練，難以應對低資源、冷門體育項目或未見過的運動場景。本文介紹了來自德克薩斯大學奧斯汀分校的最新工作，該工作發(fā)表在人工智能頂會NeurIPS 2025上。該研究提出了一種可遷移的視頻技能評估方法CROSSTRAINER。CROSSTRAINER從認知科學中汲取靈感，發(fā)現(xiàn)基礎技能屬性，如平衡性、控制力、身體定位等在不同體育項目中具有可遷移性。通過引入跨運動共享的技能屬性，結(jié)合兩階段的多模態(tài)學習，實現(xiàn)了從視頻直接生成兼具物理一致性與場景適配性的技能評估結(jié)果。CROSSTRAINER在域內(nèi)評估精度與零樣本遷移性能上顯著優(yōu)于傳統(tǒng)的域內(nèi)限定模型，為通用AI技能評估向真實多樣化運動場景的落地邁出了重要一步。

論文題目： Learning Skill-Attributes for Transferable Assessment in Video 文章鏈接： https://arxiv.org/abs/2511.13993 代碼地址： https://github.com/thechargedneutron/CrossTrainer 項目鏈接： https://vision.cs.utexas.edu/projects/CrossTrainer/

當前基于視頻的運動技能評估模型存在兩個主要局限性：

（1）專家監(jiān)督成本高昂：現(xiàn)有的技能評估模型通常針對單一體育項目進行專門化訓練，而全球存在約8000種不同的體育運動，專家級標注數(shù)據(jù)稀缺且獲取成本極高。

（2）缺乏跨領(lǐng)域泛化能力：傳統(tǒng)方法假設不同體育項目的評估標準差異巨大，因此僅在域內(nèi)數(shù)據(jù)進行訓練和測試，無法有效遷移到新的體育項目。

盡管體育運動在規(guī)則和動作上千差萬別，但支撐高水平表現(xiàn)的底層技能屬性是相通的[1][2]。如上圖所示，“腳部位置”這一屬性無論在羽毛球還是籃球中，都對身體的平衡、力量傳導和下一步移動起著至關(guān)重要的作用。本論文的核心動機是不再為每個運動學習一個獨立的模型而是學習一套通用的、可描述的“技能屬性”（如平衡、控制、手部/腳部位置、協(xié)調(diào)性、時機掌握等）。這些屬性在不同運動中有不同的視覺表現(xiàn)，但概念上是相通的。通過學習這些共享屬性，模型可以將在一個運動中學到的知識遷移到另一個運動，從而提升跨體育項目的技能評估和反饋能力。

二、本文方法

本文提出的CROSSTRAINER是一種兩階段的可遷移技能評估框架，其整體流程如下圖所示。

在預訓練階段，模型通過視頻編碼器 （對于多視角數(shù)據(jù)使用EgoVLPv2，單視角數(shù)據(jù)使用CLIP）和可訓練映射器 ，將輸入視頻 轉(zhuǎn)換為視覺表征 ，并訓練多模態(tài)大語言模型 （本文使用Llama-3.1-8B-Instruct）來生成跨運動通用的技能屬性。在第二階段，模型基于所學到的技能屬性集合 進行多維度評估，生成具體的可操作改進建議 并預測執(zhí)行者的熟練度等級 。

2.1 第一階段：技能屬性發(fā)現(xiàn)

在該階段，CROSSTRAINER利用LLM從Ego-Exo4D和QEVD數(shù)據(jù)集中的34,000條專家反饋中提取技能屬性。CROSSTRAINER學習一個函數(shù) ，用于預測視頻中展示的技能屬性：

其中， 為輸入視頻， 是訓練數(shù)據(jù)集， 為預測的技能屬性集合。通過提示工程讓LLM識別正確和錯誤展示的技能屬性，并圍繞專家評論的時間點 采樣視頻塊 ，將視頻內(nèi)容與解析得到的技能屬性建立關(guān)聯(lián)，為后續(xù)的跨體育知識遷移構(gòu)建基礎表示空間。

該過程建立了一個與具體運動項目解耦的共享中間表示空間，上圖展示的技能屬性詞云直觀呈現(xiàn)了從兩個數(shù)據(jù)集中發(fā)現(xiàn)的共享屬性分布，驗證了不同體育項目間存在通用的評估維度。

2.2 第二階段：視頻技能評估

在獲得了能夠理解并生成技能屬性的模型后，該階段的目標是利用這些屬性來完成具體的評估任務。該階段包含兩個核心子任務：生成可操作的反饋 與評估熟練度等級 。其關(guān)鍵思想在于，將第一階段預測出的技能屬性 作為條件信息，微調(diào)模型生成更精準、更具針對性的輸出。

2.2.1 生成可操作的反饋

模型將視頻編碼得到的視覺token 、技能屬性集合 與結(jié)構(gòu)化Prompt共同輸入多模態(tài)大語言模型，通過視覺與文本的雙重引導，確保輸出反饋 超越抽象屬性描述，轉(zhuǎn)化為如“運球時彎曲膝蓋以提升控球穩(wěn)定性”之類的具體、可執(zhí)行的改進方案。結(jié)構(gòu)化Prompt的形式為：“ 這是一個人物進行 <運動名稱> 的視頻。以下是AI教練識別的需要 改進的技能維度（可能包含誤差）：< >。請針對這些動作提供具體的改進建議，以幫助提升表現(xiàn)?！?/p>

2.2.2 評估熟練度等級

在熟練度估計這一微調(diào)任務中，核心目標是判斷執(zhí)行者的熟練度等級 （如新手、進階、專家）。在建模時，采用了線性探針設計，通過引入線性層 ，將經(jīng)技能屬性預訓練后被凍結(jié)的視覺token 作為輸入，僅訓練該線性層以輸出熟練度分類結(jié)果。此設計既能保留通用技能屬性特征的有效性，又避免額外訓練破壞模型遷移能力。

2.3 訓練策略

訓練階段采用LoRA策略以平衡效率與性能，僅對視頻特征映射器 （兩層 MLP+GELU 激活）、多模態(tài)LLM的適配層及熟練度估計的線性探針 進行訓練，凍結(jié)預訓練視頻編碼器（如 EgoVLPv2、CLIP）與LLM的主體參數(shù)。

三、實驗結(jié)果

本文與四類基線模型的系統(tǒng)對比驗證了方法的有效性，包括視頻理解基礎模型（如InternVideo2、EgoVLPv2）、通用多模態(tài)大語言模型（如VideoChat2、LLaVA）、技能評估專家模型（如ExpertAF、Stream-VLM）以及專用對比方法（如Attribute-Retrieval和PoseScript/Fix）。實驗采用遞進式四層評估框架，全監(jiān)督設置（FS）確立性能上限，零樣本-技能(ZS-1)設置評估新動作泛化能力，零樣本-同運動(ZS-2)設置檢驗運動內(nèi)部泛化性能，零樣本-跨運動(ZS-3)設置驗證跨領(lǐng)域遷移能力。評估指標針對三項核心任務專門設計，技能屬性生成采用IoU@k衡量語義匹配度，可操作反饋生成綜合BLEU-4、METEOR、ROUGE-L等文本生成指標，熟練度估計直接使用分類準確率，形成多維度評估體系。

3.1 定量分析

下表通過三組定量實驗全面驗證了CROSSTRAINER的有效性。在技能屬性生成任務上，本文方法在Ego-Exo4D和QEVD數(shù)據(jù)集上分別達到25.7%和37.6%的性能，顯著優(yōu)于所有基線模型。在可操作反饋生成方面，本文方法在BLEU-4、METEOR和ROUGE-L三個指標均取得最優(yōu)性能，特別是在QEVD數(shù)據(jù)集上METEOR分數(shù)達到17.6%，相對最佳基線提升8.2%。

消融實驗證明兩階段設計中技能屬性的橋梁作用至關(guān)重要。在熟練度估計任務上，基于技能屬性預訓練的視頻表征在籃球、足球和攀巖三個運動項目上的分類準確率均超越基線，表明其學習到了更高質(zhì)量的執(zhí)行水平表征，展示了ROSSTRAINER在跨體育視頻技能評估任務中的突破性表現(xiàn)。

3.2 零樣本遷移能力

作者進一步評估了CROSSTRAINER的零樣本遷移能力，下圖展示了不同訓練設置下的性能曲線對比。

CROSSTRAINER在技能屬性生成和可操作反饋生成兩項任務中始終保持性能領(lǐng)先，且從全監(jiān)督到跨運動零樣本設置下的性能跌幅僅為4%，遠低于基線模型的17%。這一結(jié)果證明，通過技能屬性學習到的視頻表征具有極強的泛化能力，能夠有效支撐模型在未見運動項目上進行穩(wěn)定評估。

3.3 定性分析

上圖通過多維度可視化實驗全面驗證了CROSSTRAINER方法的實際應用效果。在零樣本泛化方面，模型成功將訓練階段學習的通用物理原理（如發(fā)力機制）遷移至飛盤、水球等未見運動，生成符合運動特性的專業(yè)建議。例如，第三行展示了模型在真實野外環(huán)境下的表現(xiàn)。以飛盤投擲為例，模型成功識別出"手臂擺動幅度不足"和"身體旋轉(zhuǎn)不充分"等關(guān)鍵問題，生成的反饋"增加投擲時的手臂后擺幅度以產(chǎn)生更多力量"與視頻中教練的實際評論高度一致。混淆矩陣也展示了技能遷移效果在動態(tài)特性相似的運動間（如足球與籃球）更為顯著，這與認知科學規(guī)律相吻合。

四、總結(jié)

本文提出了CROSSTRAINER，一種創(chuàng)新的可遷移技能評估框架，旨在通過自動化學習跨體育項目通用的技能屬性，實現(xiàn)對不同體育項目和動作的精準評估與反饋。CROSSTRAINER的核心創(chuàng)新在于發(fā)現(xiàn)并利用不同運動間的“通用技能屬性（skill-attributes）”，這些屬性跨越具體運動形式，涵蓋了身體平衡、動作控制、時機把握等通用能力維度。該框架采用兩階段訓練流程，首先在預訓練階段提取通用技能屬性，隨后在微調(diào)階段生成具體的改進建議和熟練度評估。CROSSTRAINER在多個任務中表現(xiàn)出色，特別是在零樣本遷移能力上，能夠?qū)ξ匆娺^的體育項目或動作進行有效評估。CROSSTRAINER突破了傳統(tǒng)AI體育分析的技術(shù)瓶頸，實現(xiàn)了一個模型評估上千種不同體育項目的技能水平。

參考

[1] Causer J, Ford P R. “Decisions, decisions, decisions”: transfer and specificity of decision-making skill between sports[J]. Cognitive Processing, 2014, 15(3): 385-389.

[2] Roca A, Williams A M. Does decision making transfer across similar and dissimilar sports?[J]. Psychology of Sport and Exercise, 2017, 31: 40-43.

-The End-

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學習社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機構(gòu)，也是北京市標桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈