RESEARCH

UniPat AI 做了一件事：讓 AI 去預(yù)測(cè)還沒(méi)發(fā)生的事，比如下個(gè)月哪家公司市值最高、某國(guó)會(huì)不會(huì)對(duì)另一個(gè)國(guó)家加關(guān)稅、某個(gè)政客會(huì)不會(huì)在社交媒體上發(fā)超過(guò) 100 條帖子

他們搭了一套系統(tǒng)叫 ECHO，里面有一個(gè)專門訓(xùn)練過(guò)的預(yù)測(cè)模型 EchoZ-1.0。這個(gè)模型會(huì)自己去網(wǎng)上搜信息、讀新聞、查數(shù)據(jù)，然后給出一個(gè)概率判斷，憑借超出行業(yè)的準(zhǔn)確率，在交易市場(chǎng)上賺到了錢

比如「NVIDIA 在 3 月 31 日仍然是全球市值最高的公司」，EchoZ 給出的概率是 98%。它還會(huì)附上判斷依據(jù)：市值領(lǐng)先第二名 7000 億美元，期權(quán)市場(chǎng)沒(méi)有定價(jià)大幅回調(diào)，監(jiān)管風(fēng)險(xiǎn)已經(jīng)解除

EchoZ 的預(yù)測(cè)報(bào)告樣例，概率分布、證據(jù)鏈、判斷依據(jù)全部結(jié)構(gòu)化輸出

在他們自建的排行榜上，EchoZ 以 1034.2 的 Elo 分排第一，排在 Gemini-3.1-Pro、Claude-Opus-4.6、GPT-5.2 前面，也排在人類交易者的共識(shí)結(jié)果前面

General AI Prediction Leaderboard，11 個(gè)模型的 Elo 排名，EchoZ 排第一

周末的時(shí)候，和他們團(tuán)隊(duì)的人又聊了聊...為什么說(shuō)又呢，因?yàn)槭抢吓笥蚜恕＿@次 ECHO 是同一套方法論在預(yù)測(cè)領(lǐng)域的第二次驗(yàn)證

UniPat 背后，有多個(gè)頂級(jí)資本的加持，目前還不給說(shuō)hhhh。在我看來(lái)，這家公司在下一個(gè)時(shí)代能賺迎上不少機(jī)會(huì)，不止是金融領(lǐng)域

這套東西的方法，目前已經(jīng)開(kāi)放出來(lái)了，就在官網(wǎng)上

本篇內(nèi)容，不涉及任何的投資建議，是對(duì)他們官方模型信息的一個(gè)再次解讀

訓(xùn)練預(yù)測(cè)模型，最大的困難在哪

反饋來(lái)自未來(lái)

現(xiàn)在訓(xùn)模型，無(wú)論 SFT 還是 RL，都需要反饋信號(hào)。模型做一道題，你告訴它對(duì)不對(duì)，它根據(jù)反饋去調(diào)整

但預(yù)測(cè)題的答案發(fā)生在未來(lái)。今天讓模型預(yù)測(cè)一個(gè)月后的事，反饋要等一個(gè)月才能拿到。預(yù)測(cè)一年后的事，就要等一年

這在工程上幾乎不可訓(xùn)練

之前有些團(tuán)隊(duì)的做法叫 Train-on-Past（基于過(guò)去訓(xùn)練）：找已經(jīng)有答案的歷史預(yù)測(cè)題，把當(dāng)時(shí)的互聯(lián)網(wǎng)環(huán)境緩存下來(lái)，讓模型假裝回到過(guò)去做預(yù)測(cè)。聽(tīng)起來(lái)合理，但有兩個(gè)死穴

第一個(gè)，互聯(lián)網(wǎng)狀態(tài)不可能完美緩存。網(wǎng)頁(yè)每天都在更新，有些頁(yè)面過(guò)了就永遠(yuǎn)拿不到了。你緩存的是一個(gè)月前的快照，但模型在推理時(shí)調(diào)用搜索引擎，搜到的結(jié)果已經(jīng)包含了這一個(gè)月里新增的信息。答案就藏在這些新信息里，防不住

第二個(gè)，真實(shí)世界有大量隨機(jī)性。模型推理得很好但碰上小概率事件，答案錯(cuò)了，會(huì)被懲罰。模型瞎猜但運(yùn)氣好蒙對(duì)了，會(huì)被獎(jiǎng)勵(lì)。用最終結(jié)果做反饋信號(hào)，訓(xùn)出來(lái)的模型會(huì)學(xué)到幸存者偏差

這兩個(gè)問(wèn)題在技術(shù)上被稱為 Deficiency I（工程悖論）和 Deficiency II（結(jié)果導(dǎo)向偏差）。第一個(gè)是環(huán)境層面的，第二個(gè)是信號(hào)層面的，兩個(gè)方向上都堵死了

面向未來(lái)訓(xùn)練：評(píng)價(jià)過(guò)程，不等答案

UniPat 的解法叫 Train-on-Future（面向未來(lái)訓(xùn)練）

TRAIN-ON-PAST 緩存歷史環(huán)境 快照不完整 → 模型預(yù)測(cè) 假裝回到過(guò)去 → 對(duì)比答案 信號(hào)有噪聲 ? 答案泄露，環(huán)境不可恢復(fù) ? 隨機(jī)性導(dǎo)致幸存者偏差 ? TRAIN-ON-FUTURE 動(dòng)態(tài)合成新題 關(guān)于未來(lái)的真實(shí)問(wèn)題 → 模型預(yù)測(cè) 搜索+推理+輸出 → 評(píng)價(jià)過(guò)程 Rubrics 打分 ? 零數(shù)據(jù)泄露 ? 信號(hào)穩(wěn)定，可即時(shí)訓(xùn)練

訓(xùn)練預(yù)測(cè)模型的兩條路：基于過(guò)去 vs 面向未來(lái)

思路很直接：既然拿不到答案，那就不用答案來(lái)訓(xùn)練。讓模型去預(yù)測(cè)真正還沒(méi)發(fā)生的事，然后評(píng)價(jià)它的「預(yù)測(cè)行為」好不好

什么叫預(yù)測(cè)行為？就是模型在搜索信息、組織推理、輸出概率的整個(gè)過(guò)程中，表現(xiàn)出來(lái)的一系列具體動(dòng)作

比如：有沒(méi)有去查一手?jǐn)?shù)據(jù)源（法院文件、官方公報(bào)），還是只看了新聞標(biāo)題？有沒(méi)有識(shí)別出矛盾的信息并嘗試驗(yàn)證？有沒(méi)有用歷史基線來(lái)錨定概率，還是拍腦袋給了個(gè)數(shù)字？

這些動(dòng)作可以被評(píng)價(jià)，不需要等答案揭曉

一個(gè)推理過(guò)程好的模型，長(zhǎng)期來(lái)看預(yù)測(cè)準(zhǔn)確率一定高

評(píng)價(jià)一個(gè)分析師也是這個(gè)邏輯。不只看他這次押對(duì)了沒(méi)有，更看他的分析框架、信息源、邏輯鏈條。好的分析師偶爾也會(huì)錯(cuò)，但長(zhǎng)期勝率高

具體的訓(xùn)練流程分三步。第一步，動(dòng)態(tài)問(wèn)題合成：一個(gè)自動(dòng)化的 Pipeline 持續(xù)從宏觀經(jīng)濟(jì)指標(biāo)和前沿動(dòng)態(tài)中生成新的預(yù)測(cè)題，所有題目都關(guān)于未來(lái)，從源頭消除數(shù)據(jù)泄露。第二步，Rubrics Search（下一節(jié)細(xì)說(shuō)）：用數(shù)據(jù)驅(qū)動(dòng)搜索出評(píng)分標(biāo)準(zhǔn)，對(duì)模型的預(yù)測(cè)過(guò)程打分，作為訓(xùn)練的 Reward 信號(hào)。第三步，Map-Reduce Agent 架構(gòu)：在推理階段，把一個(gè)大問(wèn)題拆成多個(gè)子任務(wù)，派出多個(gè) Agent 并行搜索和推理（Map），再由一個(gè)聚合節(jié)點(diǎn)解決跨源沖突、對(duì)齊因果鏈、輸出最終的概率判斷（Reduce）。這個(gè)循環(huán)可以跑多輪，直到信息覆蓋和推理深度都到了平臺(tái)期

EchoZ-1.0 基于 ReAct 框架，每一步都是「思考→行動(dòng)→觀察」的三元組?？烧{(diào)用的工具包括網(wǎng)絡(luò)搜索、學(xué)術(shù)文獻(xiàn)檢索、網(wǎng)頁(yè)抓取和代碼執(zhí)行，單次推理最多跑 100 輪工具調(diào)用

誰(shuí)來(lái)定義「好的推理」

這件事 UniPat 也沒(méi)有交給人來(lái)拍腦袋

不同領(lǐng)域的「好推理」差異很大。政治預(yù)測(cè)需要區(qū)分政客的口頭威脅和正式行政執(zhí)行，需要去查一手的法院文件和軍方報(bào)告。體育預(yù)測(cè)需要的完全是另一套東西。讓人來(lái)寫一套通用的評(píng)分標(biāo)準(zhǔn)，寫不出來(lái)

UniPat 的做法是用數(shù)據(jù)驅(qū)動(dòng)來(lái)搜索評(píng)分標(biāo)準(zhǔn)，他們叫 Rubrics Search

流程大概是：先準(zhǔn)備一組候選評(píng)分維度（比如「信息源可靠性」「概率校準(zhǔn)嚴(yán)謹(jǐn)性」「矛盾信息處理」），每個(gè)維度有 5/3/1 三檔評(píng)分。然后用這些維度去給模型的預(yù)測(cè)過(guò)程打分，排出名次。再看這個(gè)名次和真實(shí)的 Elo 排名（基于最終結(jié)果算出來(lái)的）吻合度有多高

吻合度越高，說(shuō)明這套評(píng)分標(biāo)準(zhǔn)越接近「好推理」的真實(shí)特征

搜索的優(yōu)化目標(biāo)是最大化 Spearman 相關(guān)系數(shù) ρ（Rubric 打分排名 vs Elo 排名）。按領(lǐng)域分別搜索，每輪由 LLM 根據(jù)上一輪的反饋生成新的候選 Rubric，在留出的驗(yàn)證集上評(píng)估，保留最優(yōu)的進(jìn)入下一輪

Rubric Search 的效果，政治領(lǐng)域 ρ=0.873，Esports 提升最大（+0.91）

政治領(lǐng)域搜出來(lái)的最優(yōu)評(píng)分標(biāo)準(zhǔn)有 20 個(gè)維度，體育領(lǐng)域也有 20 個(gè)，但內(nèi)容完全不同

舉幾個(gè)政治領(lǐng)域的維度：「缺席信號(hào)識(shí)別」，模型是否會(huì)主動(dòng)把「什么都沒(méi)發(fā)生」當(dāng)作重要的預(yù)測(cè)信號(hào)（法院沒(méi)有新的立案、軍方?jīng)]有新的公報(bào)，這本身就是信息）；「言行分離判斷」，模型能否區(qū)分一個(gè)政客在社交媒體上的聲明和實(shí)際的行政、法律、軍事執(zhí)行；「報(bào)告時(shí)滯感知」，模型是否考慮到官方數(shù)據(jù)通常有 24-48 小時(shí)的發(fā)布延遲，不把「今天沒(méi)報(bào)告」等同于「今天沒(méi)發(fā)生」

這些維度全部是數(shù)據(jù)搜出來(lái)的，人拍腦袋想不到這個(gè)粒度。搜出來(lái)之后拿去訓(xùn)練模型，訓(xùn)練信號(hào)比「答案對(duì)不對(duì)」穩(wěn)定得多，因?yàn)樵u(píng)價(jià)的是過(guò)程，不受單次結(jié)果隨機(jī)性的影響

怎么公平地比較預(yù)測(cè)能力

ECHO 的排行榜解決了預(yù)測(cè)評(píng)測(cè)的一個(gè)老問(wèn)題：時(shí)間不對(duì)稱

同一道題，不同時(shí)間去預(yù)測(cè)，難度完全不一樣。一個(gè)月后的大選結(jié)果，今天預(yù)測(cè)和選舉前兩天預(yù)測(cè)，可用的信息量差了一個(gè)量級(jí)。之前的預(yù)測(cè)排行榜沒(méi)法控制這個(gè)變量，各家模型提交預(yù)測(cè)的時(shí)間不一樣，沒(méi)法直接比

ECHO 的做法叫 Multi-Point Aligned Elo。核心是：只在兩個(gè)模型「同一天預(yù)測(cè)同一道題」的那些點(diǎn)上做比較。每一次比較算一場(chǎng) Battle，用 Brier Score 差值映射成連續(xù)的勝負(fù)標(biāo)簽（保留了概率校準(zhǔn)的精度差異）。長(zhǎng)周期的預(yù)測(cè)比短周期的權(quán)重更高，因?yàn)樾畔⒏?、難度更大。最終用 Bradley-Terry 模型做極大似然估計(jì)，L-BFGS-B 求解，收斂到全局最優(yōu)

ECHO 的三階段評(píng)測(cè)架構(gòu)：數(shù)據(jù)采集 → 預(yù)測(cè)調(diào)度 → Battle 構(gòu)建 + Elo 評(píng)分

題目來(lái)源有三個(gè)：Polymarket 上的預(yù)測(cè)市場(chǎng)合約、Agent 從實(shí)時(shí)熱點(diǎn)中自動(dòng)合成的新題、以及領(lǐng)域?qū)＜一谌粘９ぷ髦姓鎸?shí)不確定性出的題

覆蓋 7 個(gè)領(lǐng)域，政治治理占比最大（34.5%），經(jīng)濟(jì)金融第二（19.8%）

第三類題目來(lái)源最有意思。一個(gè)做東南亞旅游業(yè)的專家，關(guān)心的預(yù)測(cè)題可能是某條航線的客流量變化。這種長(zhǎng)尾需求只有行業(yè)里的人提得出來(lái)

為了控制每道題在生命周期內(nèi)的預(yù)測(cè)采樣密度，他們還設(shè)計(jì)了一個(gè)兩階段調(diào)度算法：第一階段用對(duì)數(shù)壓縮來(lái)分配總預(yù)測(cè)次數(shù)（10 天的題大約 4 次，90 天的題大約 7 次，避免長(zhǎng)周期題的成本線性爆炸）；第二階段用優(yōu)先級(jí)評(píng)分來(lái)決定每天預(yù)測(cè)哪些題，久未被采樣的題和即將到期的題優(yōu)先級(jí)更高

驗(yàn)證實(shí)驗(yàn)做了四組

第一組，穩(wěn)健性。模擬各家模型因?yàn)?API 故障或服務(wù)器中斷缺交預(yù)測(cè)的情況，隨機(jī)丟掉 10% 到 70% 的預(yù)測(cè)數(shù)據(jù)，看排名會(huì)不會(huì)亂。結(jié)果是 Elo 排名的波動(dòng)始終比 Brier Score 平均分排名小 1.4 到 1.8 倍

丟掉 70% 的數(shù)據(jù)，Elo 排名波動(dòng)仍然只有 Brier Score 的一半多

第二組，可靠性。從排行榜里隨機(jī)去掉 1 到 6 個(gè)模型，重新算排名，看剩下的模型排序會(huì)不會(huì)變。去掉 1 個(gè)模型時(shí)，Kendall's τ 是 0.994（幾乎完全一致）。去掉 6 個(gè)，τ 降到 0.978，排序依然非常穩(wěn)定

Leave-K-Out 實(shí)驗(yàn)，去掉 6 個(gè)模型后排序幾乎不變

第三組，收斂速度。模擬一個(gè)新模型剛加入排行榜的情況，看它的排名多久能穩(wěn)定下來(lái)。Elo 在第 5.4 天就收斂到和 20 天后一致的排名，Brier Score 要到第 14.5 天，Elo 快了 2.7 倍

Elo 5.4 天收斂，Brier Score 要 14.5 天

第四組，參數(shù)敏感性。Elo 框架里有一個(gè)參數(shù) σ，控制 Brier Score 差值映射成勝負(fù)概率的敏感度。把 σ 從 0.01 掃到 0.50，EchoZ 在所有設(shè)定下都穩(wěn)定排第一。GPT-5.2 波動(dòng)最大，從 #2 到 #9

σ 從 0.01 到 0.50，EchoZ 始終第一

賺錢了嗎

EchoZ 對(duì)人類市場(chǎng)共識(shí)的勝率：政治領(lǐng)域 63.2%，長(zhǎng)期預(yù)測(cè)（7 天以上）59.3%，市場(chǎng)不確定區(qū)間 57.9%

50% 政治與治理 63.2 % 長(zhǎng)期 · 7天+ 59.3 % 不確定區(qū)間 57.9 % EchoZ vs 人類市場(chǎng)共識(shí)，三個(gè)維度都在 57% 以上

60% 多看起來(lái)不算高。但了解過(guò)交易的人知道，在一個(gè)靠判斷分勝負(fù)的市場(chǎng)里，統(tǒng)計(jì)意義上的 60% 勝率意味著什么。超過(guò) 50% 就有正期望，60% 已經(jīng)是很顯著的優(yōu)勢(shì)了

然后，團(tuán)隊(duì)在一些靠判斷能賺錢的交易市場(chǎng)上，賺了不少錢，你知道我在說(shuō)什么

后面的事

團(tuán)隊(duì)說(shuō)后續(xù)可能會(huì)把預(yù)測(cè)能力做成商業(yè)化 API，面向企業(yè)和開(kāi)發(fā)者開(kāi)放。目前還在第一階段，學(xué)術(shù)發(fā)布和品牌建設(shè)

Train-on-Future 這個(gè)訓(xùn)練范式如果經(jīng)得起更長(zhǎng)時(shí)間的驗(yàn)證，應(yīng)用場(chǎng)景遠(yuǎn)不止金融。供應(yīng)鏈、天氣、政策風(fēng)險(xiǎn)、行業(yè)趨勢(shì)，任何需要對(duì)未來(lái)做判斷的地方，理論上都可以用同一套方法。但未來(lái)具體是什么，其實(shí)也都說(shuō)不準(zhǔn)，感興趣的可以在他們網(wǎng)站上看

ECHO 官網(wǎng)：echo.unipat.ai

Blog：unipat.ai/blog/Echo