9月19日-21日，2024云棲大會在杭州西湖區(qū)云棲小鎮(zhèn)舉行。20日，云棲通道如約開放。

這是一個(gè)為廣大AI產(chǎn)業(yè)從業(yè)者、創(chuàng)業(yè)者以及大模型開發(fā)者提供的專屬交流平臺。來自教育、智能體應(yīng)用、智能駕駛、人形機(jī)器人等多個(gè)AI應(yīng)用領(lǐng)域的科學(xué)家、開發(fā)者、技術(shù)代表等現(xiàn)場分享最新行業(yè)動態(tài)，與現(xiàn)場嘉賓進(jìn)行深入交流，共同見證AI技術(shù)的發(fā)展與應(yīng)用。

超擬人一對一AI老師，幫助教育更智能

輔導(dǎo)孩子作業(yè)太心累？請家教不僅費(fèi)用高、效果也難以保證？別擔(dān)心，這些都不是問題。

云棲通道剛開啟，精準(zhǔn)學(xué)AI科學(xué)家張寧就為家長、老師群體帶來了“減負(fù)神器”——超擬人一對一AI老師。

（圖說：精準(zhǔn)學(xué)AI科學(xué)家張寧）

這位“老師”不僅能像GPT一樣講題目，更關(guān)鍵的是，TA就像你花2、300元一個(gè)小時(shí)請的一對一私人老師一樣，能有規(guī)劃、有體系地對孩子進(jìn)行一對一學(xué)習(xí)輔導(dǎo)，還能運(yùn)用不同的教學(xué)技巧，實(shí)時(shí)調(diào)整教學(xué)內(nèi)容。

那么，靠譜嗎？究竟是何原理？

張寧介紹，超擬人一對一AI老師是在通義千問的基礎(chǔ)大模型上，利用私有數(shù)據(jù)，訓(xùn)練出了精準(zhǔn)學(xué)自己的教育垂直大模型——心流大模型。同時(shí)面向?qū)W科知識教學(xué)優(yōu)化了語音識別與語音合成技術(shù)?！盀榱俗龅礁玫那榫w識別，我們還在通義千問開源大模型上重新訓(xùn)練了語音-語音端到端的大模型，不經(jīng)過語音-文字的互轉(zhuǎn)，這將成為未來我們的主要模型?！?/p>

推向市場方面，目前，超擬人一對一AI老師主要是以學(xué)習(xí)機(jī)為載體，在各大電商平臺銷售，并且與釘釘教育有深度合作。

為何會想到研究這樣一款產(chǎn)品呢？

張寧表示，不論是成人還是兒童，都會遇到被授課、被指導(dǎo)、被答疑的過程，這一過程過去是由真人來完成，而技術(shù)沒有能力做到。“但是從2023年之后，隨著通義千問等大模型的發(fā)展，技術(shù)逐漸有能力做到這一點(diǎn)，所以我們研發(fā)了這一產(chǎn)品，是對市場上教育產(chǎn)品的有益的補(bǔ)充?！?/p>

全新智能座艙AI技術(shù)，讓車生活更聰明

今年的云棲大會，“自動駕駛”無疑是最熱門的話題之一，特斯拉、小鵬、零跑等國內(nèi)外頭部車企“組團(tuán)”參展。而在云棲通道開放現(xiàn)場，斑馬智行首席產(chǎn)品官蔡明，則帶來了車生活的相關(guān)分享。

（圖說：斑馬智行首席產(chǎn)品官蔡明）

蔡明介紹，此前斑馬智行聯(lián)合通義發(fā)布了全新智能座艙AI技術(shù)品牌：元神AI，同時(shí)展示了基于英偉達(dá)OrinX平臺、通義端側(cè)多模態(tài)大模型的智艙AI技術(shù)能力。

元神AI旨在推動解決觸控交互/命令式語音交互和APP服務(wù)帶來的座艙體驗(yàn)不佳、服務(wù)使用低頻問題，通過交互變革和服務(wù)重塑，加速智能座艙“iPhone時(shí)刻”到來。元神AI核心建構(gòu)是“1+3”技術(shù)體系，同時(shí)以AliOS和廣泛的芯片生態(tài)為基礎(chǔ)設(shè)施底座。1是自然交流，人與車交互如同人與人交流一樣自然；3包含，感知場景（Echo AI），實(shí)現(xiàn)車內(nèi)全艙位、車外多視角、時(shí)空世界感知，全工況可用；組織服務(wù)（Eco AI）：打破APP限制，以用戶為中心組織原子化服務(wù)，結(jié)合場景提供給用戶。認(rèn)知成長（Evo AI）：基于用戶畫像圖譜不斷學(xué)習(xí)實(shí)現(xiàn)認(rèn)知成長，并確保用戶隱私安全。

“有人說未來會‘ALL IN大模型’，我反過來希望是‘AI IN ALL’。”蔡明表示，希望在整個(gè)座艙的每一個(gè)環(huán)節(jié)，AI都能更好地提升用戶體驗(yàn)，并且增加產(chǎn)品競爭力，“在未來，斑馬智行會推出全自研自然語言交互方案，來代替Touch交互。同時(shí)，我們聯(lián)合生態(tài)伙伴一起，推動智能座艙應(yīng)用AI化，打造更多端到端的智艙生活服務(wù)Agent，來替代APP生態(tài)，我們一起期待。 ”

開源大模型靈活運(yùn)用，給AI機(jī)器人注入靈魂

一個(gè)指令，人形機(jī)器人就能完成唱跳RAP、搬運(yùn)貨物、巡線避障、花式足球等高難度動作。在云棲大會計(jì)算館的通義靈碼展位，“素人”都能掌控的小型機(jī)器人，吸引了眾多觀眾的眼球。這項(xiàng)技術(shù)是由個(gè)人開發(fā)者、知名技術(shù)博主張子豪研發(fā)，他也在云棲通道上展示了這一成果。

（圖說：個(gè)人開發(fā)者、知名技術(shù)博主張子豪）

“這款用Qwen2開發(fā)的人形機(jī)器人，基于幻爾TonyPi人形機(jī)器人，通過開源AI推理框架OpenVINO，在輕薄筆記本上本地部署端側(cè)AI開源大模型通義千問Qwen2-7B-Instruct，使用AI編程助手‘通義靈碼’輔助編程開發(fā)和文檔撰寫。”張子豪介紹，人類輸入模糊語音指令，智能體Agent就能自主思考，調(diào)用23種原子動作Function Call，編排生成依次執(zhí)行的動作列表及函數(shù)參數(shù)。

神奇之處在哪？

“其實(shí)機(jī)器人已經(jīng)是一個(gè)非常成熟的行業(yè)，為什么最近幾年這么火？因?yàn)榇竽Ｐ统霈F(xiàn)了，能夠真正給機(jī)器人注入靈活。”張子豪向現(xiàn)場嘉賓解釋道，之前的機(jī)器人，不管它多么復(fù)雜，能打乒乓球也好，能搬東西也好，都是根據(jù)固定的指令去完成固定的動作，沒法實(shí)現(xiàn)泛化性、多樣性、通用性操作和對指令的理解。

“而大模型的最大好處就是AGI通用人工智能，它可以把任意指令翻譯成機(jī)器人的動作，能夠讓機(jī)器人真正理解海量世界的知識。”張子豪說，比如他之前做過一個(gè)機(jī)器人，讓其機(jī)械臂把綠色方塊搬到印有小豬佩奇照片的指定處。之前，要讓機(jī)器人認(rèn)識李小豬佩奇，得專門訓(xùn)練一個(gè)模型，讓它先認(rèn)識小豬佩奇。但是現(xiàn)在借助多模態(tài)大模型，機(jī)器人天生就具備這個(gè)能力，它天生就知道小豬佩奇是誰。如此一來，人類可以跟機(jī)器人說任意的指令，它都可以理解，所以泛化性能是當(dāng)前具身智能大模型之后引爆的一個(gè)熱點(diǎn)。

AI提示詞打開大模型無限可能，主流平臺廣泛采用

（圖說：云中江樹 LangGPT 社區(qū)創(chuàng)始人）

多位分享者現(xiàn)場提到了給AI下指令，那么這個(gè)指令究竟該怎么下？其實(shí)也是有講究的。AI 提示詞——打開大模型的無限可能，云中江樹 LangGPT 社區(qū)創(chuàng)始人就分享了他和AI提示詞的故事：“在過去一年多的時(shí)間里，我們一直在研究提示詞能夠給大模型帶來怎樣的一些可能性，也做了很多探索?！?/p>

據(jù)了解，LangGPT 提示詞社區(qū)成立于2023年，是國內(nèi)首個(gè)專注于提示工程的開源社區(qū)，也是目前最大最活躍的提示詞工程師交流平臺。自主研發(fā)了提示詞自動化生成優(yōu)化、模板庫、在線編輯器、漢語新解等工具，并構(gòu)建了系統(tǒng)的學(xué)習(xí)、分享、沉淀高質(zhì)量提示詞知識庫, 在 GitHub 社區(qū)獲得數(shù)萬星標(biāo)，全網(wǎng)數(shù)百萬瀏覽量，已成為國內(nèi)最流行的提示詞方法論。

該創(chuàng)始人介紹，LangGPT已與多家頭部AI公司合作，如為阿里通義開發(fā)官方提示詞模板，與月之暗面 kimi 共同推出提示詞專家助手，為百度文心一言、書生浦語大模型等分享提示工程進(jìn)階知識，為華為大模型落地應(yīng)用提供咨詢，為清華北大等985高校學(xué)子授課，為多家上市公司開展AI培訓(xùn)，聯(lián)合發(fā)起中國提示詞工程師大會等。

截至2024年9月，LangGPT已服務(wù)數(shù)十萬開發(fā)者和AI愛好者，其方法論被百度、字節(jié)、華為、智譜等主流大模型平臺廣泛采用。

“提示詞門檻不高、沒有壁壘的問題，對我來說這不是劣勢，恰恰是優(yōu)勢?！痹搫?chuàng)始人誠懇地向在場嘉賓發(fā)出了邀請：“這意味著在座各位只要有意愿、有能力，都可以參與進(jìn)來，更好地感受到AI的魅力。這也是我們過去一直在做的事情，希望讓更多的人用好AI?！?/p>

代表中國站上世界舞臺，高中生用AI打國際比賽

更多人參與AI、用好AI，正在成為現(xiàn)實(shí)。本場云棲通道最后一位分享者——復(fù)旦大學(xué)附屬中學(xué)通用技術(shù)教師、復(fù)旦附中FRC機(jī)器人戰(zhàn)隊(duì)的劉燁老師，現(xiàn)場講述了他和孩子們到美國參加機(jī)器人大賽的故事，鼓舞了現(xiàn)場一眾家長培養(yǎng)孩子學(xué)習(xí)AI的熱情。

（圖說：復(fù)旦大學(xué)附屬中學(xué)通用技術(shù)教師劉燁）

劉燁介紹，復(fù)旦附中FRC機(jī)器人戰(zhàn)隊(duì)成立于2017年，隊(duì)號6907，意思是世界上第6907支FRC戰(zhàn)隊(duì)。FIRST Robotics Competition（FRC）由美國著名非營利性機(jī)構(gòu)FIRST主辦，是目前全球青少年機(jī)器人賽事中水平最高且最具觀賞性與挑戰(zhàn)性的賽事，復(fù)旦附中FRC機(jī)器人戰(zhàn)隊(duì)是一支具有良好建設(shè)基礎(chǔ)的學(xué)生創(chuàng)新團(tuán)隊(duì)。

“我們今年機(jī)器人視覺用的就是阿里云服務(wù)器的平臺，通過這個(gè)訓(xùn)練之后，我們可以做到在攝像頭掃到二維碼標(biāo)識之后，它可以實(shí)現(xiàn)自動化的動作，輔助我們比賽的時(shí)候得到更好的效果。”劉燁表示。

依托復(fù)旦大學(xué)和上海交通大學(xué)豐富的資源，致力于機(jī)器人學(xué)習(xí)與建造，基于每年的賽事，在三維建模、機(jī)械加工、工程搭建、程序控制、人工智能、力學(xué)原理、基本運(yùn)動學(xué)、工程材料基礎(chǔ)等領(lǐng)域，為學(xué)生提供了綜合創(chuàng)新素質(zhì)培育的實(shí)踐平臺。團(tuán)隊(duì)多次獲得國內(nèi)外區(qū)域賽冠軍、區(qū)域賽主席獎(jiǎng)等獎(jiǎng)項(xiàng)，多次代表中國站在世界總決賽舞臺上，培養(yǎng)了一大批富有創(chuàng)新潛力的優(yōu)秀學(xué)生。

除了機(jī)器人比賽，學(xué)校在日常教學(xué)中，也已經(jīng)廣泛應(yīng)用了AI?！拔覀冇幸婚T課就叫‘AI+課程’，基于和通義實(shí)驗(yàn)室的合作，比如我們老師出試卷，以前我們是在一個(gè)題庫里面找題，老師們?nèi)ジ囊恍?shù)據(jù)、改一些題型、題干等?！眲钫f，但現(xiàn)在，老師們可以直接把知識點(diǎn)、考試范圍告訴通義大模型，題目就可以自動生成，更加智能和科學(xué)，“這就是AI的魅力，相信未來，AI還能帶給我們更多改變和驚喜。”