與愛為舞聯合創(chuàng)始人王琳 在GET2025教育科技大會上演講

11月17日至18日，芥末堆在北京舉辦以“教育有AI，學習無界”為主題的GET2025教育科技大會。與愛為舞聯合創(chuàng)始人王琳就《從單向輸出，到萬人互動—“愛學”的AI落地實踐》進行了主題分享。這是與愛為舞成立兩年多以來，第一次在GET大會上正式亮相，因此這次分享也吸引了業(yè)內很多從業(yè)者和媒體的關注。王琳通過拆解一個好的AI老師所需要的必要條件，對與愛為舞的產品以及大模型、數字人、語音等技術進展做了介紹，同時也分享了在AI應用的創(chuàng)業(yè)過程中的一些底層思考。

以下為演講實錄，經編輯：

大家好，今天我分享的主題叫從單向輸出到萬人互動：愛學的AI落地實踐。

首先給大家介紹一下公司的情況，與愛為舞是一個剛成立兩年多的新公司。從公司成立第一天開始，就有很多朋友去問我們?yōu)槭裁唇信c愛為舞。這里最主要有兩層含義：

第一，教育的本質是愛，而公司在剛成立的最早期，定下的價值觀，就是愛自己，愛伙伴，愛世界。

第二，愛是AI的諧音，我們希望AI能夠協助教育，同時也希望我們是一個人文跟科技結合的公司。公司在2023年5月份成立，現在已經在北京和上海有研發(fā)中心，我們希望通過AI技術探索出一些教育的新范式，這就是我們公司成立的背景。

我們成立的初心是希望人人都有一個適合自己的AI老師。這個AI老師能夠去了解每一個學生的興趣，根據每一個學生的優(yōu)點和不足因材施教，可以24小時在線、即時響應。此外，我們希望AI老師能夠讓千家萬戶更多孩子用到，他的成本比現在一對一的成本降低一個數量級甚至更多。最后我們希望這個老師不僅傳授知識，更重要的是全方位的幫助學生，做到終身陪伴。這就是我們創(chuàng)業(yè)的初心。

這個初心在我們創(chuàng)業(yè)第一天就建立了，過去的兩年多時間，我們一直在為這個初心努力。接下來給大家介紹一下，與愛為舞所推出的產品。

如何創(chuàng)造一個好的AI老師

首先我們來思考一下，一個好老師，需要哪些能力：

第一，好老師首先需要有專業(yè)的教學能力。他能夠掌握名師講法，把知識點清晰的講出來，同時可以針對學生的問題做出合理回復，并實現個性化教學，針對不同的學生有不同的講解方法。因此我們做了自己的大模型。

第二，好老師需要有非常親切的、有真人感的形象。因此，我們組建了數字人團隊，研發(fā)實時交互的數字人，可以精準復刻名師形象，做到低延時互動。

第三，好老師需要有表現力的聲音。他能夠識別學生的說話，并指導學生成長，我們也做了語音識別模型和語音合成模型。

第四，我們希望產品可以走進千家萬戶。因此在AI工程上做了大量優(yōu)化，可以支持幾萬人同時在線并發(fā)，做到低延時。

接下來給大家看一個真實的初中課程的場景。

簡單總結一下，這個場景有四個特點，第一，有專業(yè)的名師講法，不能照本宣科講題目，而是有豐富的講課經驗和技巧；第二，可以在關鍵點上和學生互動，引導學生問出關鍵問題，檢測到學生是不是回答對關鍵問題，學生自己答對才有效果；第三，要能夠接住學生各種各樣個性化問題，并能做好承接；第四，老師無論從形象到聲音，到說話的口頭禪，都是比較像真人的。

為什么我們要做這么一個AI教學產品，為什么要這么設計互動？最主要思考是我們認為，在教學場景中，高質量的一對一互動，是能夠很好的拉回學生的注意力，只有拉回學生注意力，完成互動，才可以讓學生得到學習效果的提升。

我們可以看到這幾張圖中，傳統(tǒng)的在線大班課程里，老師和學生的互動是比較少的。而在我們場景中，一個小時老師會和學生有40多次互動，過程中老師會知道學生關鍵點掌握沒有，同時也通過一步一步引導，讓學生把正確答案說出來。這是提升我們教學效果非常關鍵的一點。

從數據中可以看到，當老師第一次問學生問題的時候，有59%的學生可以答對，當他一步一步引導，跟學生多輪交流后，最終可以達到83%的準確率。這24%的準確率的提升，就是AI一對一的互動帶來的。除了準確率，我們的有效聽課率也得到了相應提升。

為了實現AI老師，我們在技術上出了非常多的工作，也有一些突破。首先，為了讓AI老師有很好的教學效果，我們自研了講課Agent，它可以讓AI老師完整的引導學生完成一節(jié)課的復雜講解。無論學生順著你回答，還是不順著你回答，都能夠保證一兩個小時課程完整講下來，這是非常關鍵的。我們還實現了多個維度個性化，包括內容、交互方式和講法的個性化，最終，希望每個學生都有不一樣的體驗。

除了在算法上的優(yōu)化，還有一個非常重要的工作，就是在AI工程上，公司投入非常多。我們未來需要給幾萬、幾十萬甚至更多人提供服務，每個人都是面對一個獨立的AI老師，這個和大班課場景不一樣，每一個人要實時跟AI老師做語音、視頻、和大模型的互動，如果延時、成本不做優(yōu)化是不可接受的。我們在過去半年中，把單位學生的成本下降了一個數量級，也通過多個手段的端到端優(yōu)化，大幅降低了學生延時。

自研數字人技術

有了大模型，AI老師就有了智慧的大腦，接下來我們希望AI老師能夠有一個親切的形象，因此我們在數字人技術上投入非常多。為什么我們需要在數字人場景做很多自研模型？

因為在教育場景中，對數字人是有非常高的要求，最主要有兩點：第一，我們要做實時互動的數字人。數字人的技術在做實時互動和離線生產視頻兩個場景的挑戰(zhàn)是不一樣的，即使是在實時互動里面，教育場景對實時性也要求非常高。例如我們在看一些直播的數字人，晚幾秒鐘回復也沒有什么，但是教育場景數字人必須秒級回復，如果數字人不及時回復，體驗是非常差的。第二，教學場景下對老師的口型、面部、肢體動作的一致性要求非常高。一旦沒有做好一致性，對學生體驗就有很大影響。因此，我們在以下幾個維度進行了數字人研發(fā)。

第一是口型和面部同步，視頻中下面一排是真實美國新聞的播音視頻，上面是兩張照片，我們通過新聞的音頻驅動照片，使之實時生成數字人。

有了口型和面部控制之后，我們還希望數字人有更好的表現力，可以加上肢體動作。在部分場景，我們需要老師拍攝素材，第一批拍攝完之后，隔了幾個月或者半年，我們又希望能夠加入一些新的動作，這個時候就會出現比較大的問題。

第一是老師可能不太方便拍攝，第二是老師在幾個月后或者半年后，即使想拍攝，他的形象和狀態(tài)，跟幾個月前也不一樣，同一個人即使一周后和一周前的拍攝狀態(tài)都不一樣，這種情況就無法生成一模一樣的數字人。因此我們創(chuàng)新性的做了跨ID的動作生成，用第三方來做動作，通過骨骼重定向的方向來驅使原來的數字人，就可以給原來的數字人加一些新的動作。有了肢體動作之后，我們下一步希望做到360度沉浸的數字人，希望在未來課堂上的老師，真的能夠走出三分屏，走到學生面前，實現一個沉浸式的互動。

今年我們也把一些核心的技術進行了公開發(fā)表，在全球AI頂會IJCAI上發(fā)表語音驅動的數字人論文，同時在今年的9月1日跟央視合作，把左權將軍照片復原，并做出一個敬禮的動作。

教育場景的語音技術

我們在語音技術上也做了一些深入的工作，大家可能會問，語音的技術在過去一段時間已經發(fā)展的非常好，業(yè)界也有非常多頂尖的語音提供商，什么我們要在語音上花費這么大精力？因為在教學過程中語音跟業(yè)務場景是非常緊密結合的，具體有幾個原因：

第一，我們的學生有很多低齡的，隨時可能說出兩三個字，這對語音識別的挑戰(zhàn)是非常大的。比如我現在在講話，我的講話是連貫的，有很多上下文，語音識別會很好理解。但是如果隨時隨地出來兩三個字，甚至有一些咬舌音等單音素的發(fā)音，對語音識別挑戰(zhàn)是非常大的。

第二，學生上課場景，可能有噪音，或者多人聲音的干擾。在剛開始快速啟動的時候，我們使用了第三方的語音識別技術，但隨著我們用戶量增大，我們發(fā)現語音識別準確率有一些瓶頸，第三方技術有20%的錯誤率。

這意味著什么呢？當學生說100個句子，有20句是錯誤的，這是不可接受的。因此我們把多模態(tài)理解引入到ASR模型中，同時加入了強化學習，讓模型可以持續(xù)做自我進化。最終我們在真實場景中，把語音識別的準確率，從80%多提升到95%，這樣學生會得到比較好的體驗。

我們在語音降噪和聲紋分離上也做了一些工作。真實的上課中，很多學生有背景噪音，在做識別的時候容易出現問題，如果我們用開源的降噪的技術，容易在降噪的同時把原來的聲音做變形或者掩蓋，特別是對孩子的聲音影響較大，略微的聲音變化就會造成識別錯誤。所以我們自研了降噪的模型，可以做到在降噪的同時把童聲精準還原。

除語音識別之外，我們在語音合成上，自研了基于多Token融合的TTS大模型，基于上萬小時的語音數據做重新預訓練，而且除了建模語意相關的信息，還能夠建模非常細粒度聲學信息，包括老師的停頓、呼吸等，這樣可以去盡可能提升模型的表現力，同時，我們還實現了多情感表達，讓老師在不同場景下有不同的情感表現，實現教學的個性化。最后，我們也在算法和工程上也做了很多聯合的優(yōu)化。

為什么我們要在語音合成上做這么多細節(jié)，一個很重要的原因是，當我們人去聽幾十秒、一兩分鐘的說話時，可能聽不出來聲音的好壞，或者都差不多。但是學生需要面對一個老師，他要聽一兩個小時，未來要聽幾十、上百個小時，老師的表現力、抑揚頓挫對講課非常關鍵，否則學生很容易感覺到疲憊。

以上就是我們在大模型、語音、數字人方面的一些進展，有了這些工作之后，我們還想問自己一個問題，我們的AI老師，到底能不能給學生帶來真實的價值，能不能教會學生，我們也跟蹤了上課的學生，記錄了這些學生的變化。一開始這些學生不會自然拼讀，經過一段時間學習之后，他們可以直接拼讀一些高級的詞匯，有了很大的進步。

這給了我們非常大的激勵，以及去持續(xù)優(yōu)化的動力。未來希望我們的產品，能夠是一個終身陪伴的AI產品。在幼兒語音啟蒙、青少年思維提升、成年職場以及老年反詐上，希望能夠陪伴全年齡段的人終身學習進步。

AI應用創(chuàng)業(yè)思考

以上我們的產品跟技術的介紹。今天也跟大家分享一下我們公司在過去兩年多，在創(chuàng)業(yè)過程中有一些簡單的沉淀和思考。

剛才我講了很多的技術，我自己負責技術研發(fā)。在技術上核心是兩個點：

第一，我們不要去在一些非常通用的技術上跟大廠比拼，或者跟大廠卷一些通用指標。我們更應該做好業(yè)務問題的定義，要做與業(yè)務結合最好的技術。我們要持續(xù)的思考，在什么點上你的業(yè)務需要突破，在什么能力上，你必須要自研技術，在什么能力上你是可以用第三方的。

在大模型方面，有很多創(chuàng)業(yè)公司，有公司用開源大模型可以用得很好，有的公司做自研大模型也很好。我們如果做自研模型要想清楚為什么要做，它能提升什么點，同時要做好全面測評，你都不能測評一個指標，你也很難優(yōu)化它。

我們也建議重視AI工程，未來工程和算法需要聯合一塊優(yōu)化，我們有很多工作都是工程和算法聯合優(yōu)化的。

另外，我們可以讓產品盡早上線，這樣可以收集到用戶的真實反饋，通過數據驅動的方式去優(yōu)化，并盡早開始構建數據飛輪。

第二，我們要堅定的相信技術的發(fā)展，提前為技術的成熟做準備。剛才主持人也說，20年前有一本書《奇點臨近》講了一個觀點，就是技術的發(fā)展是指數級的，早期的技術發(fā)展非常緩慢，一旦突破奇點的時候，技術會快速發(fā)展。人類二十世紀一百年的技術成就超過了之前2000年所有技術的成就，而這些成就在二十一世紀只需要25年的時間。所以我們往往以為要很多年才會成熟的技術，會經常大幅度超出我們預期更早的實現，我們要相信很多技術快于想象，并站在這個假設上，來做很多業(yè)務決策。

關于組織，我們的公司非常重視企業(yè)文化和人才密度，我自己也花了大量精力吸引行業(yè)里面頂尖的人才。一個公司的發(fā)展，當你不確定他的業(yè)務怎么樣的時候，你只需要看一點，看這個公司是否有源源不斷的優(yōu)秀人才能夠流入，這一點非常關鍵，在過去幾個時代一直被驗證。比如在PC互聯網時代， 2005-2013年全球很多優(yōu)秀人才去了百度，那個時候百度一度成為中國最大的互聯網公司；之后移動互聯網時代，大量的優(yōu)秀人才去騰訊，去阿里，他們也一度成為中國最大的互聯網公司。之后大量人才去字節(jié)，它也成長為最優(yōu)秀的公司之一。現在在美國硅谷，大量人才去OpenAI、Anthropic等全球最頂尖的AI公司，他們的發(fā)展也非?？?。我們要用組織的確定性來對抗未來創(chuàng)業(yè)的不確定性，創(chuàng)業(yè)會面臨很多困難，這個時候有一個優(yōu)秀的組織，可以保證在很多事情上做得更好。

同時，我們做事也要首先考慮AI能不能做，把硅基生命當成組織的必要成員，把人機協同作為工作的基本范式，很多事情需要AI和人一塊來做。我們需要組織里面的每個人都要能夠站在未來看現在，否則的話，不換腦子就換人。

最后，我覺得這一屆GET大會有非常好的主題:教育有AI，這也非常契合的是我們公司的使命，愛與AI幫助每個人成為更好的自己。我們希望通過大模型技術，用一個智慧的大腦來實現因材施教；通過數字人技術，用一個親切的指導提升學生的自信；通過語音的技術，用一個溫暖的聲音激勵學生成長；通過工程的技術，用一套的堅固系統(tǒng)為學生保駕護航。

我們的產品過去幾個月上線以來，收到了大家很多的反饋、建議以及批評，在這里非常感謝大家，我們會不高估短期收益，不低估長期積累，繼續(xù)樂觀而堅定走下去，也希望和大家一塊加油，謝謝大家！