當(dāng)評測機(jī)構(gòu)發(fā)現(xiàn)自己測不動了，問題就變得棘手起來。

METR是一家專注AI風(fēng)險(xiǎn)評估的組織。今年3月，他們在有限時(shí)間內(nèi)評測了Claude Mythos Preview的早期版本。結(jié)果顯示，該模型的50%時(shí)間地平線至少達(dá)到16小時(shí)，95%置信區(qū)間為8.5至55小時(shí)。

這個(gè)指標(biāo)的含義是：模型完成一項(xiàng)人類需要特定時(shí)長才能完成的任務(wù)，其成功概率為50%時(shí)的任務(wù)長度。METR用多種任務(wù)作為參照，比如訓(xùn)練一個(gè)分類器約45分鐘，訓(xùn)練對抗魯棒圖像模型約4小時(shí)。

METR直言，Mythos的這一數(shù)值"已接近我們現(xiàn)有測試方法的上限"。測試套件共228項(xiàng)任務(wù)，僅5項(xiàng)達(dá)到16小時(shí)或更長。這使得該范圍的測量"不穩(wěn)定且意義有限"，無法為超出此閾值的模型提供精確估算。

該機(jī)構(gòu)承認(rèn)，現(xiàn)有測試套件仍能區(qū)分更強(qiáng)模型與當(dāng)前公開的最先進(jìn)模型，但這一范圍的測量結(jié)果不足以支持精確的定量比較或外推。他們正在開發(fā)包含更長任務(wù)的新方法，但尚未完成。

真正的安全隱患或許在于：評測方法的進(jìn)步速度，已經(jīng)落后于模型本身。

網(wǎng)絡(luò)安全公司Palo Alto Networks從另一角度印證了這種落差。該公司近期獲得了包括Mythos、OpenAI的GPT-5.5-Cyber和Claude Opus 4.7在內(nèi)的最新前沿AI模型的早期無限制訪問權(quán)限。

他們將觀察到的變化稱為"能力躍遷"。這些模型展現(xiàn)出"對軟件漏洞的直覺理解"，AI的角色正從助手轉(zhuǎn)變?yōu)樽灾髦悄荏w，"能夠以大多數(shù)防御者尚未準(zhǔn)備的規(guī)模發(fā)現(xiàn)和串聯(lián)漏洞"。

據(jù)該公司博客文章，三周基于模型的分析覆蓋了以往一整年人工滲透測試的范圍，且覆蓋面更廣。某些情況下，模型將多個(gè)單獨(dú)評級較低的漏洞組合成關(guān)鍵攻擊路徑。在AI輔助場景下，從初始訪問到數(shù)據(jù)泄露的時(shí)間可縮短至僅25分鐘。

Palo Alto Networks估算，當(dāng)前前沿模型相比前代的編碼效率提升約50%。"這個(gè)數(shù)字聽起來是漸進(jìn)式的，但在實(shí)踐中，這正是AI從有用助手跨越到自主操作者的閾值。"