国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

為大模型思考裝上“獵鷹重裝引擎” :騰訊混元 SEAT 重塑深度思考

0
分享至

責(zé)編 | 夢(mèng)依丹

出品丨AI 科技大本營(yíng)(ID:rgznai100)

本文深度解析騰訊混元最新發(fā)布的 SEAT 自適應(yīng)并行擴(kuò)展推理框架,讓大模型 CoT 從“單引擎飛艇”變身“多發(fā)并聯(lián)火箭”,征服復(fù)雜推理任務(wù)的星辰大海,避開(kāi)過(guò)度思考迷航。

大模型 Falcon Heavy 時(shí)刻

2018 年,當(dāng) SpaceX 獵鷹重裝級(jí)火箭 (F alcon Heavy) 轟鳴升空, 捆綁著多臺(tái)發(fā)動(dòng)機(jī)并聯(lián)點(diǎn)火, 以多發(fā)并聯(lián)抵消失效風(fēng)險(xiǎn),用多級(jí)捆綁實(shí)現(xiàn)推力飛躍,將人類太空運(yùn)載能力推向全新高度。

當(dāng)時(shí)沒(méi)有人意識(shí)到,在 7 年后將會(huì)有另外一場(chǎng)的技術(shù)發(fā)布遙相呼應(yīng),形成了跨越時(shí)間的共振:2025 年7 月 10 日,xAI發(fā)布「Grok 4 Heavy」,用多智能體并行架構(gòu)復(fù)刻“多發(fā)引擎”設(shè)計(jì),讓 AI 同時(shí)思考多種假設(shè),在 ARC-AGI 基準(zhǔn)上以 15.9% 的碾壓成績(jī)刷新 SOTA。

就在同一天,騰訊混元團(tuán)隊(duì)在 arXiv 上發(fā)布論文《SEAT: Adaptive Termination for Multi-round Parallel Reasoning - An Universal Semantic Entropy-Guided Framework》(ArXiv, abs/2507.06829) ,以嚴(yán)謹(jǐn)?shù)恼撟C、詳實(shí)的技術(shù)細(xì)節(jié)和扎實(shí)的實(shí)驗(yàn)數(shù)據(jù),為大模型的思考注入同款“重型推力”,SEAT 框架的「自適應(yīng)多輪并行引擎」首次點(diǎn)火:

  • 多輪并行推理 - 多流交叉驗(yàn)證突破盲目自信、誤入歧途和無(wú)限循環(huán)等低效推理;

  • 語(yǔ)義熵導(dǎo)航 - 多輪迭代依賴動(dòng)態(tài)監(jiān)控答案收斂時(shí)及時(shí)停止;

從此,大模型無(wú)論是閉源還是開(kāi)源,都能將復(fù)雜推理思維鏈 (Chain-of-Thought, CoT) 從“單引擎飛艇”升級(jí)為“多發(fā)并聯(lián)的星際火箭”,并適配“智能導(dǎo)航”保證長(zhǎng)程推理全程精準(zhǔn)掌控。

大模型“深度思考”的瓶頸與挑戰(zhàn)

在人工智能的星辰大海中,大型語(yǔ)言模型(LLM)無(wú)疑是就是當(dāng)前最引人注目的旗艦,它擁有強(qiáng)大的馬力,知識(shí)儲(chǔ)備豐富,能回答人們提出的各種問(wèn)題,今天我們所熟知的快思考語(yǔ)言模型能夠輕松應(yīng)對(duì)問(wèn)答、對(duì)話和創(chuàng)作等各種語(yǔ)言任務(wù)。但漸漸地,大家不再滿足于讓大模型局限于語(yǔ)言任務(wù),而是嘗試讓大模型去探索復(fù)雜推理問(wèn)題的廣袤的未知空間,比如解決一個(gè)奧數(shù)競(jìng)賽題題,或者撰寫一份嚴(yán)謹(jǐn)?shù)目茖W(xué)報(bào)告,又或者是一個(gè)需要長(zhǎng)程規(guī)劃的 Agentic 任務(wù)。

這時(shí)你需要的可能不再僅僅是大模型在海上乘風(fēng)破浪,而是需要長(zhǎng)距離飛行探索天空并能精準(zhǔn)降落到目的地。

于是大語(yǔ)言模型就發(fā)展出了思維鏈 (CoT) 技術(shù),從而具備了深度思考的能力,就像是給大模型裝上了噴氣式引擎,讓它能夠離地升空,飛得高、看得遠(yuǎn),通過(guò)一步步的邏輯推理來(lái)解決問(wèn)題。這在很大程度上提升了 LLM 的推理能力,但其局限性也日益凸顯,如果你嘗試過(guò)用大模型來(lái)做這些復(fù)雜任務(wù)就可能遇到過(guò),大模型要么一頓操作猛如虎,輸出一堆邏輯鏈但結(jié)果還是錯(cuò),要么直接擺爛堅(jiān)持輸出一個(gè)明顯的錯(cuò)誤答案,又或者陷入思考死循環(huán)繞不出來(lái)。大家漸漸發(fā)現(xiàn)深度思考模型 CoT 縱然強(qiáng)大,但當(dāng)面對(duì)復(fù)雜推理任務(wù)時(shí)也常常會(huì)力不從心,也暴露出“過(guò)度思考”、“無(wú)效思考”和“盲目自信”等各種缺陷。

在此之前,模型性能的提升主流做法依賴于“訓(xùn)練時(shí)擴(kuò)展”,即通過(guò)增加模型參數(shù)量和訓(xùn)練數(shù)據(jù)集的規(guī)模來(lái)實(shí)現(xiàn)。然而,隨著模型規(guī)模的急劇膨脹,這種方法的邊際效益遞減,且?guī)?lái)了高昂的訓(xùn)練成本和算力需求。為了突破這一瓶頸,“測(cè)試時(shí)計(jì)算擴(kuò)展” (Test-Time Scaling) 作為一個(gè)新的研究方向迅速成為前沿?zé)狳c(diǎn):

測(cè)試時(shí)計(jì)算擴(kuò)展的核心思想是,在不改變模型預(yù)訓(xùn)練參數(shù)的前提下,通過(guò)在推理階段投入更多的計(jì)算資源,來(lái)提升模型在復(fù)雜任務(wù)上的表現(xiàn)。這種方法允許模型在給出最終答案前進(jìn)行更深入的探索,從而顯著提高答案的準(zhǔn)確性和可靠性。近期大量研究證明測(cè)試時(shí)計(jì)算擴(kuò)展的巨大潛力,業(yè)界相當(dāng)部分的注意力也從單純的訓(xùn)練時(shí)擴(kuò)展,轉(zhuǎn)向如何更有效地設(shè)計(jì)和優(yōu)化推理時(shí)計(jì)算策略,“測(cè)試時(shí)計(jì)算擴(kuò)展”逐漸成為 LLM 能力提升的探索的一個(gè)新的趨勢(shì),即從“更大的模型”轉(zhuǎn)向“更聰明的推理過(guò)程”,這個(gè)方向逐漸發(fā)展出“順序擴(kuò)展 - 深度迭代精進(jìn)”和“并行擴(kuò)展 - 多樣性廣度探索“這兩個(gè)主要分支:

1.順序擴(kuò)展 (Sequential Scaling) ,其核心思想是通過(guò)延長(zhǎng)推理路徑的“深度”來(lái)擴(kuò)展計(jì)算。這通常通過(guò)生成更長(zhǎng)的思維鏈(Chain-of-Thought, CoT)或采用多輪迭代優(yōu)化的方式實(shí)現(xiàn)。 但是“順序擴(kuò)展”思路下,推理容易一條道走到黑,模型常常會(huì)陷入錯(cuò)誤的推理路徑而無(wú)法自拔,并且由于缺乏有效的“剎車”機(jī)制也不知道自己何時(shí)應(yīng)該停止徒勞的思考。

2.與追求深度的順序擴(kuò)展相對(duì),并行擴(kuò)展 (Parallel Scaling)通過(guò)增加推理路徑的“廣度”來(lái)擴(kuò)展計(jì)算 。其核心策略是讓模型針對(duì)同一個(gè)問(wèn)題,獨(dú)立、并行地生成多個(gè)(N個(gè))候選答案, 探索了更多可能性然后從中挑選?!安⑿袛U(kuò)展”思路下,多流推理往往各自為戰(zhàn),缺乏協(xié)作和迭代,導(dǎo)致計(jì)算效率低下,性能提升也很快會(huì)遇到瓶頸。

顯然兩種主流測(cè)試時(shí)擴(kuò)展范式的互補(bǔ)性與局限性變得清晰起來(lái):

  • 順序擴(kuò)展提供了深度精煉的能力,但有陷入局部最優(yōu)和“過(guò)度思考”的風(fēng)險(xiǎn);

  • 并行擴(kuò)展提供了廣度探索的能力,但缺乏協(xié)作和持續(xù)優(yōu)化的機(jī)制。

這種內(nèi)在的矛盾自然地引出了一個(gè)核心研究問(wèn)題,也正是 SEAT 論文開(kāi)篇所提出的:“我們能否設(shè)計(jì)一個(gè)靈活的框架,有效整合順序和并行擴(kuò)展范式的互補(bǔ)優(yōu)勢(shì)?”

騰訊混元 SEAT 框架提出的融合二者的一種全新的混合擴(kuò)展(Hybrid Scaling)范式:利用并行生成進(jìn)行廣泛探索,再利用順序迭代進(jìn)行深度精煉,這像是為大語(yǔ)言模型提供了一套強(qiáng)大的升級(jí)“深度思考”的外掛,它給 CoT 裝上“重裝發(fā)動(dòng)機(jī)“(多輪并行動(dòng)力)和“智能導(dǎo)航”(語(yǔ)義熵自適應(yīng)剎車), 讓 AI從“單引擎飛艇”升級(jí)為“多發(fā)并聯(lián)火箭”。接下來(lái)將逐步拆解 SEAT 提出的這個(gè)范式升級(jí)的關(guān)鍵環(huán)節(jié)!

范式升級(jí)第一彈:并行推理給 CoT 裝上“獵鷹重裝”級(jí)的澎湃動(dòng)力

SEAT 的第一步,就是對(duì)模型推理的“動(dòng)力系統(tǒng)”進(jìn)行一次徹底的系統(tǒng)性升級(jí)。它引入了一個(gè) N x M 的多輪并行推理框架,將傳統(tǒng) CoT 的單引擎模式升級(jí)為了一臺(tái)擁有 N 個(gè)并行引擎的重裝級(jí)火箭。

什么是 N x M 框架?

  • N 代表并行(Parallel)的廣度:在每一輪(Round)推理中,模型會(huì)像“獵鷹重裝”的并聯(lián)引擎一樣,同時(shí)點(diǎn)燃 N 條獨(dú)立的思考路徑。這 N 個(gè)并行的思考分支會(huì)同時(shí)對(duì)問(wèn)題進(jìn)行探索, 生成 N 份包含思考過(guò)程和答案的候選方案。這極大地拓寬了模型在單一步驟中的探索范圍。

  • M 代表順序(Sequential)的深度:這套框架并非一次性的并行,而是可以進(jìn)行多達(dá) M 輪的迭代精煉。最關(guān)鍵的是,第 i 輪的 N 個(gè)思考分支在開(kāi)始工作前,會(huì)得到一份特殊的“參考資料”,這份資料包含了第 i-1 輪所有 N 個(gè)推理分支的完整答案。

這個(gè)設(shè)計(jì)巧妙地融合了并行與順序的優(yōu)勢(shì):模型在每一輪都能集思廣益,看到其他可能性的同時(shí),又能基于上一輪的集體智慧進(jìn)行更深層次的迭代和修正。各個(gè)分支之間不再是單打獨(dú)斗,而是通過(guò)團(tuán)隊(duì)協(xié)作中進(jìn)行集合思考。

正如“獵鷹重裝”火箭,其“多發(fā)并聯(lián)”的引擎(并行N)提供了強(qiáng)大的探索推力與容錯(cuò)能力,而“多級(jí)捆綁”的結(jié)構(gòu)(順序M)則確保了推理能夠逐級(jí)精煉,抵達(dá)更高的高度。

驚人的推力:N=2 也能帶來(lái)巨大性能飛躍

在 AIME-2025 這個(gè)極具挑戰(zhàn)性的數(shù)學(xué)競(jìng)賽數(shù)據(jù)集上,實(shí)驗(yàn)結(jié)果顯示:

  • 對(duì)于 32B 的大模型,僅僅采用 N=2 的最小并行設(shè)置,就能帶來(lái) +14.1% 的驚人準(zhǔn)確率提升。

  • 對(duì)于 7B 的小模型,效果更為顯著,準(zhǔn)確率提升高達(dá) +24.5%!

當(dāng)并行數(shù)增加到 N=8 時(shí),性能還能進(jìn)一步提升。這充分證明了 SEAT 框架提供的“并行引擎”具有極其強(qiáng)大的推力,并且性價(jià)比極高。

SEAT 的核心優(yōu)勢(shì):非侵入式的“外掛”設(shè)計(jì)哲學(xué)

更值得稱道的是 SEAT 實(shí)現(xiàn)這種并行的方式。當(dāng)前,許多工作試圖通過(guò)干預(yù)模型內(nèi)部的生成過(guò)程 (inner-round control)來(lái)實(shí)現(xiàn)更精細(xì)的控制,但這往往需要對(duì)模型結(jié)構(gòu)進(jìn)行修改,或者進(jìn)行復(fù)雜的專門訓(xùn)練,通用性很差。

而 SEAT 采用的是一種 inter-round(輪次間)的控制策略。它把大模型視作一個(gè)黑箱,只在每一輪推理的輸入和輸出端進(jìn)行信息整合。這意味著:

  • 即插即用 (Plug-and-Play):無(wú)論你是用 Hunyuan,Qwen,Llama,還是 DeepSeek,任何大模型都可以直接使用 SEAT 框架。

  • 無(wú)需訓(xùn)練 (Training-Free):它是一個(gè)純粹的推理時(shí)策略,不需要任何額外的微調(diào)或訓(xùn)練成本。

所以,SEAT 就像一個(gè)通用化的“并聯(lián)引擎”升級(jí)的外掛套件,可以輕松地安裝到任何現(xiàn)有的“飛行器”(LLM)上,即插即用,立刻帶來(lái)性能的飛躍。

范式升級(jí)第二彈:語(yǔ)義熵的動(dòng)態(tài)監(jiān)控實(shí)現(xiàn)全程的“智能導(dǎo)航”

現(xiàn)在,LLM 升級(jí)成為搭載著“獵鷹重裝”級(jí)引擎的超級(jí)火箭。但困擾大模型推理的另外一個(gè)問(wèn)題仍然擺在面前:一臺(tái)只有引擎沒(méi)有導(dǎo)航的火箭,最終的結(jié)局只可能是在太空中迷失方向,或是在燃料耗盡后墜毀。

如何為這股強(qiáng)大的力量裝上“導(dǎo)航”?如何讓模型知道自己何時(shí)已經(jīng)“到目的地”啦,可以停止計(jì)算,給出答案?

騰訊混元團(tuán)隊(duì)在這里引入了整個(gè)SEAT 框架的題眼 - 語(yǔ)義熵 (Semantic Entropy)。怎么說(shuō)呢(忘掉復(fù)雜的數(shù)學(xué)公式),語(yǔ)義熵就是一個(gè)衡量 AI 推理“困惑度”的傳感器,用一個(gè)直觀的比喻來(lái)理解語(yǔ)義熵:它就像一個(gè)“航向一致性”檢測(cè)儀。在每一輪推理中,我們都有 N 個(gè)并行推理分支會(huì)給出各自的答案,語(yǔ)義熵衡量的,就是這 N 個(gè)答案在“語(yǔ)義層面”上的一致性:

  • 高熵 (High Entropy):如果 N 個(gè)答案五花八門,語(yǔ)義上南轅北轍(比如,一個(gè)答案 是“68”,另一個(gè)是“蘋果”,還有一個(gè)是“不確定,我再想想”),這說(shuō)明模型的并行推理分支的推導(dǎo)方向分歧巨大,處于高度“困惑”的狀態(tài)。此時(shí),“航向一致性檢測(cè)儀”的讀數(shù)會(huì)飆高。

  • 低熵 (Low Entropy):如果 N 個(gè)答案雖然措辭不同,但最終都指向了同一個(gè)語(yǔ)義核心(比如,都指向最終答案“68”),這說(shuō)明模型的思考已經(jīng)“收斂”,內(nèi)部達(dá)成了高度共識(shí)。此時(shí),檢測(cè)儀的讀數(shù)會(huì)變得很低。

SEAT 論文最重要的實(shí)證發(fā)現(xiàn):模型的推理準(zhǔn)確率與語(yǔ)義熵存在強(qiáng)烈的負(fù)相關(guān)性。 這條“黃金法則”在說(shuō),當(dāng)推理結(jié)果的“困惑度”降低,則表明模型多路推理分支達(dá)成共識(shí),這時(shí)它給出的答案有極大概率是正確的!這個(gè)發(fā)現(xiàn)的可貴之處在于,它意味著我們找到了一個(gè)不依賴外部知識(shí)、純粹依靠模型自身輸出就能判斷其推理質(zhì)量的自監(jiān)督指標(biāo)。這個(gè)“導(dǎo)航傳感器”是真實(shí)、可靠且有效的。

智能導(dǎo)航的兩種模式:預(yù)設(shè)航線 vs. 自適應(yīng)巡航

有了這個(gè)強(qiáng)大的傳感器,SEAT 設(shè)計(jì)了兩種“關(guān)閉引擎”的導(dǎo)航策略:

1. 預(yù)設(shè)航線模式 (Pre-defined Threshold Approach)

這個(gè)方法比較直接。我們事先通過(guò)對(duì)一批問(wèn)題進(jìn)行采樣,分析模型在不同“困惑度”(語(yǔ)義熵)下的表現(xiàn)。研究發(fā)現(xiàn)了一個(gè)有趣的 “80/20”法則:大約 80% 的正確答案,都出現(xiàn)在語(yǔ)義熵最低的 20% 的區(qū)間內(nèi)。 因此,我們可以提前計(jì)算出這個(gè)“20%分位點(diǎn)”的熵值,并將其設(shè)定為一個(gè)固定的“目標(biāo)穩(wěn)定度”。在多輪推理中,一旦某一輪的語(yǔ)義熵低于這個(gè)預(yù)設(shè)的閾值,導(dǎo)航系統(tǒng)就認(rèn)為“已抵達(dá)預(yù)定航線”的終點(diǎn),立刻停止推理。 這種方法行之有效,但缺點(diǎn)是需要提前進(jìn)行采樣和校準(zhǔn),當(dāng)更換模型或并行設(shè)置時(shí),需要重新操作。

2. 自適應(yīng)巡航模式 (Adaptive Threshold-free Mechanism)

這是 SEAT 的又一個(gè)創(chuàng)新。為了擺脫對(duì)預(yù)設(shè)閾值的依賴,研究者從運(yùn)籌學(xué)問(wèn)題“秘書問(wèn)題”中獲得了靈感,其核心是在信息不完全的情況下做出最優(yōu)決策。SEAT 的自適應(yīng)導(dǎo)航完美地借鑒了這一經(jīng)典思想:

  • 第一步建立動(dòng)態(tài)基準(zhǔn) - 即統(tǒng)計(jì)前 T 輪推理產(chǎn)生的語(yǔ)義熵并形成“初始抖動(dòng)”的基線。我們不評(píng)判這個(gè)初始值是好是壞,只是客觀記錄下來(lái)。

  • 第二步動(dòng)態(tài)巡航與決策 - 從第 T +1 輪開(kāi)始,每一輪推理結(jié)束后,都計(jì)算新的語(yǔ)義熵,并與基線的“初始抖動(dòng)”進(jìn)行比較。一旦當(dāng)前輪次的語(yǔ)義熵低于這個(gè)基線,導(dǎo)航系統(tǒng)就立刻做出判斷:“當(dāng)前的思考狀態(tài)已經(jīng)比剛開(kāi)始時(shí)更加清晰和收斂了,思考取得了實(shí)質(zhì)性進(jìn)展,可以終止!”

這個(gè)策略的精妙之處在于它的完全自適應(yīng)性。它不關(guān)心熵的絕對(duì)值是多少,只關(guān)心相對(duì)的改善。無(wú)論面對(duì)的是簡(jiǎn)單問(wèn)題(初始熵很低)還是復(fù)雜問(wèn)題(初始熵很高),這套系統(tǒng)都能動(dòng)態(tài)地為自己設(shè)定一個(gè)“過(guò)得去”的標(biāo)桿,并在此基礎(chǔ)上尋求超越。這使得 SEAT 框架異常靈活、魯棒且無(wú)需任何前期準(zhǔn)備。

范式升級(jí)的彩蛋:“智能導(dǎo)航”如何防止“引擎過(guò)載”造成熔毀事故

在實(shí)驗(yàn)過(guò)程中,騰訊混元團(tuán)隊(duì)還觀察到了 SEAT 一個(gè)之前在設(shè)計(jì)時(shí)可能沒(méi)有太預(yù)設(shè)的、但在實(shí)踐中很實(shí)用的“副作用”,尤其是在針對(duì)小規(guī)模模型(如 7B)推理時(shí)經(jīng)常出現(xiàn)的語(yǔ)義熵坍塌 (Semantic Entropy Collapse) 的現(xiàn)象。具體說(shuō)說(shuō)什么是“語(yǔ)義熵坍塌”?在很多實(shí)際推理或者實(shí)驗(yàn)中,當(dāng)讓 7B 這樣的小模型進(jìn)行多輪的并行推理時(shí),它的語(yǔ)義熵在后期會(huì)突然暴跌至接近于零。 從“導(dǎo)航傳感器”的讀數(shù)上看,似乎是模型達(dá)到了前所未有的“共識(shí)”。但當(dāng)檢查此時(shí)的答案準(zhǔn)確率時(shí),卻發(fā)現(xiàn)準(zhǔn)確率也隨之崩盤,同樣跌至谷底。通過(guò)分析模型的具體輸出才發(fā)現(xiàn):模型并非真正地“想明白了”,而是陷入了一種“過(guò)度自信的錯(cuò)誤”。它喪失了思維的多樣性,開(kāi)始固執(zhí)地、一遍又一遍地重復(fù)同一個(gè)錯(cuò)誤的答案,并且其思考過(guò)程變得極度簡(jiǎn)化,甚至直接跳過(guò)推理步驟。實(shí)際上,這就像一臺(tái)持續(xù)超負(fù)荷運(yùn)轉(zhuǎn)的火箭引擎會(huì)發(fā)生一種災(zāi)難性的“引擎過(guò)載”的熔毀事故。

SEAT 的“安全保護(hù)機(jī)制”

此時(shí),SEAT 的“智能導(dǎo)航系統(tǒng)”展現(xiàn)出了它作為“安全員”附加的但是又是極為實(shí)用的價(jià)值。

以上述發(fā)生“熵坍塌”的案例為例,假如模型的準(zhǔn)確率在第2輪達(dá)到峰值之后便開(kāi)始下滑。而 SEAT 根據(jù)自適應(yīng)終止策略,一旦發(fā)現(xiàn)語(yǔ)義熵已經(jīng)低于了初始的基準(zhǔn),就可發(fā)出“停止”指令!

這意味著,SEAT 能夠在模型性能達(dá)到巔峰、但還未因“想太多”而陷入“過(guò)載自毀”狀態(tài)之前,就果斷地切斷動(dòng)力。它不僅是一個(gè)效率工具,更是一個(gè)至關(guān)重要的安全保護(hù)機(jī)制。它保護(hù)了小模型, 使其能夠在復(fù)雜的多輪推理中保持穩(wěn)定的表現(xiàn),而不會(huì)因?yàn)槟芰Σ蛔愣盁龎哪X子”。

為每個(gè)推理模型進(jìn)行“星際穿越”而準(zhǔn)備的升級(jí)外掛

回到我們最初的問(wèn)題:如何讓大模型這艘旗艦,實(shí)現(xiàn)精準(zhǔn)、高效且可靠的“星際穿越”,去探索 AI 廣袤未知的星辰大海?

SEAT 框架基于 Test-Time Scaling 范式給出了一份非常有創(chuàng)新性的答案 :它并非一個(gè)復(fù)雜的、 需要高昂成本的全新模型,也不要求現(xiàn)有大模型進(jìn)行額外訓(xùn)練,或者滿足什么特定要求,它基本上就是一套完整的、即插即用的深度思考CoT 的“升級(jí)”外掛。

  • 它通過(guò)多輪并行推理,為我們的模型裝上了“獵鷹重裝”級(jí)的強(qiáng)大引擎,提供了前所未有的并行探索動(dòng)力,通過(guò)推理時(shí)計(jì)算擴(kuò)展為大模型也能帶來(lái)高效且顯著的性能提升。

  • 它通過(guò)引入語(yǔ)義熵這個(gè)精妙的自監(jiān)督指標(biāo),并設(shè)計(jì)出自適應(yīng)無(wú)閾值終止策略,為這股強(qiáng)大的力量裝上了一套極其聰明的“智能導(dǎo)航系統(tǒng)”。

  • 這套導(dǎo)航系統(tǒng)不僅能通過(guò)“見(jiàn)好就收”來(lái)大幅提升計(jì)算效率,更能通過(guò)規(guī)避“語(yǔ)義熵坍塌”,為模型的推理過(guò)程提供關(guān)鍵的安全保障。

騰訊混元發(fā)布的 SEAT 推理框架,其核心在于支持基礎(chǔ)模型在推理階段根據(jù)任務(wù)需求動(dòng)態(tài)切換為更強(qiáng)大的 Heavy 版本。這種設(shè)計(jì)既提供了算力調(diào)度的靈活性,也引入了更復(fù)雜的推理控制與引導(dǎo)機(jī)制。

相較于單純追求推理性能,SEAT 更強(qiáng)調(diào)在擴(kuò)展路徑中引入“控制”和“引導(dǎo)”的策略。通過(guò) Hybrid Scaling 的融合機(jī)制,以及基于語(yǔ)義熵的判斷方式,它嘗試以更具上下文感知的方式提升大模型在長(zhǎng)鏈條、復(fù)雜語(yǔ)境下的推理質(zhì)量。

在推理能力走向更強(qiáng)的同時(shí),如何走得更穩(wěn)、更有目標(biāo)感,或許將成為大模型演化中的關(guān)鍵議題之一。而 SEAT 提出的這些方案,提供了一種新的路徑選擇。

(投稿或?qū)で髨?bào)道:zhanghy@csdn.net)

AI 產(chǎn)品爆發(fā),但你的痛點(diǎn)解決了嗎?

2025 全球產(chǎn)品經(jīng)理大會(huì)

8 月 15–16 日

北京·威斯汀酒店

互聯(lián)網(wǎng)大廠、AI 創(chuàng)業(yè)公司、ToB/ToC 實(shí)戰(zhàn)一線的產(chǎn)品人

12 大專題分享,洞察趨勢(shì)、拆解路徑、對(duì)話未來(lái)。

立即掃碼領(lǐng)取大會(huì)PPT

搶占 AI 產(chǎn)品下一波紅利

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
1996年, 施瓦辛格在家中無(wú)事,和35歲200斤女傭發(fā)生不當(dāng)關(guān)系

1996年, 施瓦辛格在家中無(wú)事,和35歲200斤女傭發(fā)生不當(dāng)關(guān)系

南權(quán)先生
2026-01-20 15:49:53
3月7日俄烏最新:小澤上前線

3月7日俄烏最新:小澤上前線

西樓飲月
2026-03-07 20:59:30
臺(tái)系內(nèi)存廠:中國(guó)大陸DDR5內(nèi)存,救不了市場(chǎng),會(huì)一直漲到2027年

臺(tái)系內(nèi)存廠:中國(guó)大陸DDR5內(nèi)存,救不了市場(chǎng),會(huì)一直漲到2027年

互聯(lián)網(wǎng).亂侃秀
2026-03-07 11:01:12
女航天員王亞平,因工作常年沒(méi)回家,和丈夫的關(guān)系一句話道出真相

女航天員王亞平,因工作常年沒(méi)回家,和丈夫的關(guān)系一句話道出真相

掉了顆大白兔糖
2026-02-25 07:07:28
美媒:中國(guó)不可怕,可怕的是中國(guó)只用10萬(wàn)頭豬,就搞定了治沙難題

美媒:中國(guó)不可怕,可怕的是中國(guó)只用10萬(wàn)頭豬,就搞定了治沙難題

樂(lè)天閑聊
2026-01-16 11:23:05
中國(guó)早已布局完畢,美專家警告美國(guó),別打伊朗,中國(guó)一定笑到最后

中國(guó)早已布局完畢,美專家警告美國(guó),別打伊朗,中國(guó)一定笑到最后

伴君終老
2026-03-07 20:19:11
《鏢人》票房超12億,打破14項(xiàng)紀(jì)錄,虧損超2億

《鏢人》票房超12億,打破14項(xiàng)紀(jì)錄,虧損超2億

影視高原說(shuō)
2026-03-06 07:03:59
現(xiàn)場(chǎng)直擊|倫敦舉行大規(guī)模集會(huì)抗議美以襲擊伊朗

現(xiàn)場(chǎng)直擊|倫敦舉行大規(guī)模集會(huì)抗議美以襲擊伊朗

新華社
2026-03-08 17:35:53
3月1日新規(guī):廣州外賣騎手,電動(dòng)車限速15公里,沒(méi)掛這個(gè)牌要罰款

3月1日新規(guī):廣州外賣騎手,電動(dòng)車限速15公里,沒(méi)掛這個(gè)牌要罰款

電動(dòng)車的那些事兒
2026-03-07 15:17:07
曝網(wǎng)易撤資"如龍之父"新作!資助5年還要追加3億引熱議

曝網(wǎng)易撤資"如龍之父"新作!資助5年還要追加3億引熱議

游民星空
2026-03-08 11:11:42
上海浦東要起飛!這4個(gè)地方,未來(lái)普通人高攀不起

上海浦東要起飛!這4個(gè)地方,未來(lái)普通人高攀不起

劉哥談體育
2026-03-08 07:59:44
阿爾特塔談比賽沉悶:外界怎么說(shuō)沒(méi)關(guān)系,我們的數(shù)據(jù)就是證明

阿爾特塔談比賽沉悶:外界怎么說(shuō)沒(méi)關(guān)系,我們的數(shù)據(jù)就是證明

懂球帝
2026-03-08 12:13:39
公布了!1332人遇難!內(nèi)塔尼亞胡或被關(guān)進(jìn)大牢,特朗普開(kāi)始急了

公布了!1332人遇難!內(nèi)塔尼亞胡或被關(guān)進(jìn)大牢,特朗普開(kāi)始急了

愛(ài)下廚的阿釃
2026-03-08 10:54:00
推薦八部重口味世界級(jí)禁片,能看完的都是狠人

推薦八部重口味世界級(jí)禁片,能看完的都是狠人

i書與房
2026-01-29 14:55:08
特朗普宣稱伊朗南部小學(xué)遭襲致至少165人遇難事件“是伊朗所為”,表示伊朗的彈藥襲擊“非常不準(zhǔn)確”

特朗普宣稱伊朗南部小學(xué)遭襲致至少165人遇難事件“是伊朗所為”,表示伊朗的彈藥襲擊“非常不準(zhǔn)確”

大象新聞
2026-03-08 10:47:05
臺(tái)灣黃征輝:臺(tái)灣可以和平回歸,但大陸要答應(yīng)2個(gè)條件!

臺(tái)灣黃征輝:臺(tái)灣可以和平回歸,但大陸要答應(yīng)2個(gè)條件!

嘆知
2026-03-08 14:59:42
長(zhǎng)城汽車董事長(zhǎng)魏建軍就海報(bào)抄襲路虎致歉:審核把關(guān)不嚴(yán),愿承擔(dān)此次事件帶來(lái)的全部法律與經(jīng)濟(jì)責(zé)任

長(zhǎng)城汽車董事長(zhǎng)魏建軍就海報(bào)抄襲路虎致歉:審核把關(guān)不嚴(yán),愿承擔(dān)此次事件帶來(lái)的全部法律與經(jīng)濟(jì)責(zé)任

極目新聞
2026-03-06 20:03:45
湖北單親媽媽嫁65歲美國(guó)老頭,帶兒子移民美國(guó),婚后14年老頭去世

湖北單親媽媽嫁65歲美國(guó)老頭,帶兒子移民美國(guó),婚后14年老頭去世

哄動(dòng)一時(shí)啊
2026-02-09 16:56:31
國(guó)家發(fā)改委:將探索延長(zhǎng)義務(wù)教育年限

國(guó)家發(fā)改委:將探索延長(zhǎng)義務(wù)教育年限

極目新聞
2026-03-07 16:41:06
十九歲天才后衛(wèi)走紅歐洲,巴薩已經(jīng)開(kāi)始行動(dòng)

十九歲天才后衛(wèi)走紅歐洲,巴薩已經(jīng)開(kāi)始行動(dòng)

富貴體壇說(shuō)
2026-03-08 16:28:28
2026-03-08 18:07:00
AI科技大本營(yíng) incentive-icons
AI科技大本營(yíng)
連接AI技術(shù)的創(chuàng)造者和使用者
2639文章數(shù) 7660關(guān)注度
往期回顧 全部

科技要聞

OpenClaw最大的推手是閑魚和小紅書

頭條要聞

美軍精銳空降師4000余人進(jìn)入待命 被指或要推地面戰(zhàn)

頭條要聞

美軍精銳空降師4000余人進(jìn)入待命 被指或要推地面戰(zhàn)

體育要聞

大傷后被交易,他說(shuō):22歲的我已經(jīng)死了

娛樂(lè)要聞

周迅新戀情曝光,李亞鵬等人已成過(guò)去

財(cái)經(jīng)要聞

油價(jià)要失控?

汽車要聞

9分鐘充飽 全新騰勢(shì)Z9GT首搭閃充技術(shù)26.98萬(wàn)起

態(tài)度原創(chuàng)

旅游
本地
時(shí)尚
公開(kāi)課
軍事航空

旅游要聞

中國(guó)旅游借力洛杉磯旅游展擴(kuò)大美國(guó)市場(chǎng)

本地新聞

食味印象|一口入魂!康樂(lè)烤肉串起千年絲路香

2026春夏一定要擁有的6只包,好看又百搭

公開(kāi)課

李玫瑾:為什么性格比能力更重要?

軍事要聞

王毅:解決臺(tái)灣問(wèn)題 實(shí)現(xiàn)祖國(guó)完全統(tǒng)一不可阻擋

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版