国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

Cloudflare把冷啟動干到0毫秒,AI代理成本砍了80%

0
分享至


2026年3月,Cloudflare工程師博客更新了一條技術(shù)公告:Dynamic Workers正式上線。這不是常規(guī)的功能迭代——他們要把AI生成代碼的執(zhí)行延遲,從"喝杯咖啡等結(jié)果"壓到"眨眼的功夫"。

數(shù)據(jù)很直白:傳統(tǒng)AI代理架構(gòu)里,大模型每步推理都要走網(wǎng)絡(luò)往返,token費用像漏水的水龍頭。Cloudflare的新方案直接讓LLM一次性寫完執(zhí)行腳本,推理成本最高砍掉80%。

ReAct模式:AI代理的"擠牙膏"困境

現(xiàn)在主流的AI代理都在用ReAct范式(推理-行動循環(huán))。LLM發(fā)現(xiàn)需要調(diào)用工具,就停下來發(fā)請求,等后端執(zhí)行完再把結(jié)果塞回上下文窗口,接著推理下一步。循環(huán)往復(fù)。

這套流程的問題在于網(wǎng)絡(luò)延遲會疊加。每一步都要重新發(fā)送完整對話歷史,token賬單跟著步驟數(shù)線性膨脹。你的AI代理不是在思考,是在刷你的信用卡刷得很慢。

Cloudflare和前沿AI研究者盯上了另一個思路:讓LLM直接寫執(zhí)行邏輯。給模型API schema,讓它生成一段TypeScript或JavaScript函數(shù),把所需操作串成管道。Cloudflare內(nèi)部管這叫"Code Mode"。

一次性生成執(zhí)行腳本,LLM只 invoked(調(diào)用)一次,而非反復(fù) invoked 來推進(jìn)計劃。

容器方案的"穿幫時刻"

Code Mode理論上很干凈,但執(zhí)行未經(jīng)驗證的AI生成代碼是顆雷。傳統(tǒng)做法是用Linux容器或微虛擬機(jī)做沙箱隔離,這里暴露了老架構(gòu)的致命傷。

容器啟動以秒計,冷啟動成本直接吃掉延遲優(yōu)勢。安全沙箱本身就成了性能瓶頸——你為了安全付出的代價,恰好抵消了讓LLM寫代碼省下來的時間。

Cloudflare Dynamic Workers的解法是把Linux容器換成即時創(chuàng)建的輕量V8 isolate。V8 isolate是Chrome同款JavaScript引擎的隔離單元,啟動時間在毫秒級,內(nèi)存占用只有容器的零頭。

Dynamic Workers的三張底牌

零冷啟動。 V8 isolate的創(chuàng)建和銷毀速度讓容器看起來像蒸汽機(jī)車。AI代理收到用戶請求的瞬間,執(zhí)行環(huán)境已經(jīng)就緒。

成本結(jié)構(gòu)重構(gòu)。 省下的不只是token費用。容器編排的復(fù)雜度、安全補丁的維護(hù)成本、預(yù)置環(huán)境的閑置開銷,全部被打包進(jìn)Cloudflare的邊緣網(wǎng)絡(luò)托管。

攻擊面收縮。 V8 isolate的設(shè)計初衷就是跑不可信代碼。每個isolate有獨立的堆內(nèi)存和全局對象,逃逸漏洞的歷史記錄比容器少一個數(shù)量級。

Cloudflare在公告里放了一個對比:同樣執(zhí)行AI生成的數(shù)據(jù)處理腳本,Dynamic Workers的P99延遲比AWS Lambda容器方案低兩個數(shù)量級。具體數(shù)字沒公布,但"兩個數(shù)量級"在工程師語境里通常是100倍起步。

動手搭建:從schema到沙箱

實際部署比想象的要輕。核心流程三步:定義API schema,寫prompt讓LLM生成符合schema的函數(shù),把函數(shù)丟進(jìn)Dynamic Worker執(zhí)行。

schema設(shè)計是關(guān)鍵。你需要讓LLM明確知道哪些端點可用、參數(shù)類型、返回值結(jié)構(gòu)。Cloudflare的示例用了Zod做運行時校驗,生成代碼先過類型檢查再進(jìn)isolate。

安全層不能省。即便V8 isolate本身有隔離性,Cloudflare還是加了代碼靜態(tài)分析和執(zhí)行超時熔斷。AI生成的代碼可能死循環(huán),也可能試圖訪問未聲明的API——這些都要在進(jìn)沙箱前攔住。

一個細(xì)節(jié):Dynamic Workers支持把執(zhí)行結(jié)果直接流回LLM做后續(xù)處理,或者緩存到Workers KV供其他服務(wù)消費。這意味著你可以把"生成代碼-執(zhí)行-存結(jié)果"整條鏈掛在邊緣節(jié)點,離用戶物理距離最近的地方跑完全程。

Cloudflare工程師在博客評論區(qū)回復(fù)了一個用戶問題:如果LLM生成的代碼有bug怎么辦?回答是"和調(diào)試普通TypeScript一樣,日志和堆棧追蹤全給你"。這暗示了另一個設(shè)計選擇——Dynamic Workers的執(zhí)行環(huán)境和標(biāo)準(zhǔn)Workers共享同一套可觀測性工具,沒有額外的學(xué)習(xí)成本。

現(xiàn)在的問題是:當(dāng)你的競爭對手還在用ReAct模式數(shù)著token賬單時,你愿意把AI代理的執(zhí)行邏輯交給LLM一次性寫完嗎?

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
1976年播報毛主席訃告,播音員念完三遍后突然冒出一句話,全國都慌了

1976年播報毛主席訃告,播音員念完三遍后突然冒出一句話,全國都慌了

文史明鑒
2026-03-25 19:14:13
華裔女賭神趙蘇茜:曾橫掃美國賭場,一局贏下400萬,33歲遭焚尸

華裔女賭神趙蘇茜:曾橫掃美國賭場,一局贏下400萬,33歲遭焚尸

嘆為觀止易
2026-03-24 16:45:26
社評:親身了解中國,美國官員急需補上的一課

社評:親身了解中國,美國官員急需補上的一課

環(huán)球網(wǎng)資訊
2026-03-26 00:05:09
雷霆遭綠軍逆轉(zhuǎn)結(jié)束12連勝:亞歷山大33+8創(chuàng)紀(jì)錄 布朗31+8+8

雷霆遭綠軍逆轉(zhuǎn)結(jié)束12連勝:亞歷山大33+8創(chuàng)紀(jì)錄 布朗31+8+8

醉臥浮生
2026-03-26 10:06:01
張雪峰離世!北京蘇州房產(chǎn)不在名下,1400名員工等安撫,好友停工

張雪峰離世!北京蘇州房產(chǎn)不在名下,1400名員工等安撫,好友停工

阿纂看事
2026-03-25 21:31:59
劉曉慶外甥再爆料:劉曉慶已死亡,相關(guān)聊天記錄曝光,讓網(wǎng)友破防

劉曉慶外甥再爆料:劉曉慶已死亡,相關(guān)聊天記錄曝光,讓網(wǎng)友破防

快樂娛文
2026-03-26 09:18:37
沙特實戰(zhàn)封神!中國“天盾”21發(fā)全中,15億美制系統(tǒng)竟慘遭反殺

沙特實戰(zhàn)封神!中國“天盾”21發(fā)全中,15億美制系統(tǒng)竟慘遭反殺

素衣讀史
2026-03-25 21:26:46
廣東:錨定量子科技、具身智能等未來產(chǎn)業(yè)重點領(lǐng)域 加強前沿與顛覆性技術(shù)創(chuàng)新

廣東:錨定量子科技、具身智能等未來產(chǎn)業(yè)重點領(lǐng)域 加強前沿與顛覆性技術(shù)創(chuàng)新

每日經(jīng)濟(jì)新聞
2026-03-26 10:13:04
曝信達(dá)證券所長猥褻員工,長得很老實,女方顏值出眾,合影曝光

曝信達(dá)證券所長猥褻員工,長得很老實,女方顏值出眾,合影曝光

180視角
2026-03-25 17:34:12
國務(wù)院令!3月30日起全國施行,土葬合法,殯葬業(yè)暴利徹底涼涼!

國務(wù)院令!3月30日起全國施行,土葬合法,殯葬業(yè)暴利徹底涼涼!

今朝牛馬
2026-03-24 22:13:12
巴蒂:馬拉多納離世時身邊沒有人,最后走得像條狗一樣

巴蒂:馬拉多納離世時身邊沒有人,最后走得像條狗一樣

懂球帝
2026-03-26 06:43:02
朝鮮為何突然禁播部分中國影視作品

朝鮮為何突然禁播部分中國影視作品

東方不敗然多多
2026-03-26 05:21:44
退役體操冠軍,直播“擦邊”之后

退役體操冠軍,直播“擦邊”之后

中國新聞周刊
2026-03-25 21:34:08
伊朗警告:情報顯示敵對勢力在“某地區(qū)國家”支持下準(zhǔn)備占領(lǐng)伊朗島嶼,若敵人膽敢采取行動,將對該地區(qū)國家所有重要基礎(chǔ)設(shè)施進(jìn)行猛烈攻擊

伊朗警告:情報顯示敵對勢力在“某地區(qū)國家”支持下準(zhǔn)備占領(lǐng)伊朗島嶼,若敵人膽敢采取行動,將對該地區(qū)國家所有重要基礎(chǔ)設(shè)施進(jìn)行猛烈攻擊

極目新聞
2026-03-26 09:09:58
伊朗發(fā)動第81波行動,打擊以色列70多處目標(biāo)!內(nèi)塔尼亞胡:48小時內(nèi)盡可能多摧毀伊朗軍工設(shè)施;伊朗外長:以將美國推向沖突,沒有談判余地

伊朗發(fā)動第81波行動,打擊以色列70多處目標(biāo)!內(nèi)塔尼亞胡:48小時內(nèi)盡可能多摧毀伊朗軍工設(shè)施;伊朗外長:以將美國推向沖突,沒有談判余地

每日經(jīng)濟(jì)新聞
2026-03-26 08:26:06
中方駁斥“闖館事件”日方荒謬說法:你見過未經(jīng)允許持刀進(jìn)入使館同大使交談的先例嗎?

中方駁斥“闖館事件”日方荒謬說法:你見過未經(jīng)允許持刀進(jìn)入使館同大使交談的先例嗎?

環(huán)球網(wǎng)資訊
2026-03-26 07:09:09
國產(chǎn)筆記本CPU偷梁換柱翻車!官方終于回應(yīng):生產(chǎn)失誤、全額退款

國產(chǎn)筆記本CPU偷梁換柱翻車!官方終于回應(yīng):生產(chǎn)失誤、全額退款

快科技
2026-03-25 10:14:04
伊朗重要人事任命,釋放強烈信號!

伊朗重要人事任命,釋放強烈信號!

斐君觀點
2026-03-25 21:08:16
是什么,讓這個日本自衛(wèi)官竟敢對中國大使館舉刀?

是什么,讓這個日本自衛(wèi)官竟敢對中國大使館舉刀?

環(huán)球時報國際
2026-03-26 00:13:51
央視發(fā)文,60歲釋永信再迎噩耗,被他害慘的4個明星也出了口惡氣

央視發(fā)文,60歲釋永信再迎噩耗,被他害慘的4個明星也出了口惡氣

丁丁鯉史紀(jì)
2026-03-25 18:03:42
2026-03-26 10:44:49
碳基打工人
碳基打工人
坐標(biāo)北京,靠咖啡續(xù)命,靠小紅書下飯的普通人類。
117文章數(shù) 0關(guān)注度
往期回顧 全部

科技要聞

硅谷因AI大裁員?一線工程師戳破真相

頭條要聞

上海36歲女子嫁23歲小伙 拿千萬元房產(chǎn)99%份額"閃離"

頭條要聞

上海36歲女子嫁23歲小伙 拿千萬元房產(chǎn)99%份額"閃離"

體育要聞

35歲替補門將,憑什么入選英格蘭隊?

娛樂要聞

張雪峰遺產(chǎn)分割復(fù)雜!是否立遺囑成關(guān)鍵

財經(jīng)要聞

黃仁勛:芯片公司的時代已經(jīng)結(jié)束了

汽車要聞

一汽奧迪A6L e-tron開啟預(yù)售 CLTC最大續(xù)航815km

態(tài)度原創(chuàng)

親子
本地
時尚
教育
公開課

親子要聞

科普|兒童能不能使用阿片類藥物——專業(yè)解讀家長最怕的“止痛藥”

本地新聞

來永泰同安 赴一場春天的約會

《非窮盡列舉》,好看又絕望

教育要聞

ISAR選修課丨重磅古典占星預(yù)測課程:整合6大預(yù)測技法,從入門到實戰(zhàn)

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版