大家對LLM在棋類、算法競賽和數(shù)學(xué)證明等領(lǐng)域的金牌級表現(xiàn)已經(jīng)見怪不怪了，LLM在現(xiàn)實(shí)世界中表現(xiàn)究竟會怎么樣

這就不得不得提最近大火的一家名為 Nof1 的機(jī)構(gòu)，發(fā)起了一個(gè)名為 Alpha Arena 的LLM自主進(jìn)行量化交易項(xiàng)目，旨在探索LLM在真實(shí)、動態(tài)且充滿風(fēng)險(xiǎn)的金融市場中的決策能力

目前第一賽季（10月18到11月4）已經(jīng)結(jié)束，國產(chǎn)模型Qwen（阿里Qwen最后實(shí)現(xiàn)反超） 和 DeepSeek最終獲得了冠亞軍且都盈利了，GPT-5墊底！以下是比賽結(jié)果：

下面我們就對本次比賽的過程做一個(gè)全面復(fù)盤：

Alpha Arena項(xiàng)目核心問題非常直接：

一個(gè)大型語言模型，在最少的指導(dǎo)下，能否充當(dāng)一個(gè)零樣本（zero-shot）的系統(tǒng)化交易模型？

為此，他們?yōu)榱鶄€(gè)業(yè)界領(lǐng)先的LLM分別提供了1萬美元的真實(shí)資金，讓它們在加密貨幣衍生品交易所Hyperliquid上進(jìn)行自主交易，全程零人工干預(yù)。

這些模型只能依賴提供的純數(shù)值市場數(shù)據(jù)進(jìn)行決策，無法獲取任何新聞或市場“敘事”信息。它們的唯一目標(biāo)是：最大化收益

初步結(jié)果顯示，不同模型在風(fēng)險(xiǎn)偏好、頭寸規(guī)模和持倉時(shí)間等方面表現(xiàn)出明顯的行為差異，并且對提示詞的微小變化高度敏感

Alpha Arena如何設(shè)計(jì)？

Alpha Arena第一賽季的目標(biāo)有兩個(gè)：

1.揭示主流LLM固有的偏見和默認(rèn)交易行為。通過比較分析，觀察不同模型的交易方式是否存在巨大差異，以及這些差異是否隨時(shí)間保持一致

2.推動AI研究文化從靜態(tài)基準(zhǔn)轉(zhuǎn)向真實(shí)世界基準(zhǔn)。倡導(dǎo)在更具現(xiàn)實(shí)意義和影響力的環(huán)境中評估AI，以更快地發(fā)現(xiàn)前沿AI的關(guān)鍵差距和洞見

為了實(shí)現(xiàn)這一目標(biāo)，實(shí)驗(yàn)選擇了真金白銀的實(shí)盤交易，而非模擬盤。因?yàn)檎鎸?shí)市場才能暴露執(zhí)行挑戰(zhàn)、逆向選擇和責(zé)任歸屬等全部問題

參賽選手與賽場規(guī)則

本次比賽陣容匯集了全球頂尖的AI研究成果，共六個(gè)模型：

• ? GPT-5

• ? Gemini 2.5 Pro

• ? Claude Sonnet 4.5

• ? Grok 4

• ? DeepSeek v3.1

• ? Qwen3-Max

這些模型涵蓋了中美兩國的閉源和開源提供商。除Qwen3-Max外，所有模型都配置了最高的推理能力，且未經(jīng)任何任務(wù)特定的微調(diào)

交易環(huán)境：在Hyperliquid交易所進(jìn)行中低頻交易（決策間隔為數(shù)分鐘到數(shù)小時(shí)）。
交易資產(chǎn)：BTC、ETH、SOL、BNB、DOGE、XRP六種主流加密貨幣的永續(xù)合約

操作空間：買入開倉（做多）、賣出開倉（做空）、持有或平倉

數(shù)據(jù)輸入：僅提供定量的市場數(shù)據(jù)，如當(dāng)前和歷史中間價(jià)、成交量、技術(shù)指標(biāo)（EMA、MACD、RSI等）以及其他輔助特征

交易杠桿：允許模型使用杠桿，這既能提高資金效率，加速反饋循環(huán)，也極大地考驗(yàn)了模型的風(fēng)險(xiǎn)管理能力

構(gòu)建執(zhí)行系統(tǒng)（Harness）

整個(gè)系統(tǒng)的推理循環(huán)如下：

模型在每次被調(diào)用時(shí)（約2-3分鐘一次），會接收到一個(gè)包含簡潔指令集（系統(tǒng)提示）和實(shí)時(shí)市場及賬戶狀態(tài)（用戶提示）的輸入

然后，模型需要返回結(jié)構(gòu)化的操作指令，包括：

交易決策：買入/賣出/持有/平倉
交易細(xì)節(jié)：幣種、數(shù)量、杠桿
決策依據(jù)：簡短的理由陳述、一個(gè)0到1之間的置信度分?jǐn)?shù)
退出計(jì)劃：預(yù)設(shè)的止盈目標(biāo)、止損價(jià)位和使計(jì)劃失效的條件

其中，退出計(jì)劃的引入顯著提升了模型的表現(xiàn)。倉位大小由模型根據(jù)可用現(xiàn)金、杠桿和其內(nèi)部風(fēng)險(xiǎn)偏好自行計(jì)算。

一個(gè)交易實(shí)例：從決策到執(zhí)行

為了直觀展示模型如何工作，以下是Claude模型一次完整的BTC交易生命周期

入場：2025年10月19日 10:10

模型收到了詳細(xì)的上下文信息，包括：分鐘級的價(jià)格和指標(biāo)序列、4小時(shí)周期的長線數(shù)據(jù)、持倉量和資金費(fèi)率，以及精確的賬戶狀態(tài)（可用現(xiàn)金8308.94美元，持有一個(gè)盈利493.42美元的XRP多頭倉位）

推理過程摘要：

1.分析現(xiàn)有倉位：模型首先檢查了持有的XRP多頭倉位。它確認(rèn)該倉位盈利狀態(tài)良好，且其預(yù)設(shè)的失效條件“BTC跌破105,000美元”并未觸發(fā)（當(dāng)時(shí)BTC價(jià)格為107,982.5美元），因此決定繼續(xù)持有

2.進(jìn)行市場全面掃描：接著，模型系統(tǒng)性地分析了其他主要加密貨幣的機(jī)會，包括ETH、SOL、BNB和DOGE。它注意到市場整體呈現(xiàn)建設(shè)性技術(shù)形態(tài)，其中BTC和ETH顯示出顯著強(qiáng)勢，BNB則表現(xiàn)出特別強(qiáng)勁的相對性能

3.制定新策略并進(jìn)行資本分配：在綜合評估后，模型認(rèn)為BTC的機(jī)會展現(xiàn)出引人入勝的技術(shù)特征。它明確考慮到了自己有限的可用資金（8308美元），因此決定采取“選擇性”策略。模型制定了精確的頭寸計(jì)劃：動用40%的保證金（約3323美元），配合20倍杠桿建立BTC多頭頭寸，并將風(fēng)險(xiǎn)參數(shù)控制在997美元左右。其理由是BTC正在突破盤整區(qū)，動能強(qiáng)勁，且4小時(shí)RSI指標(biāo)從超賣區(qū)恢復(fù)，目標(biāo)是重新測試11萬美元區(qū)域

模型輸出的交易指令：

                                                            {
    "coin": "BTC",
    "signal": "buy_to_enter",
    "quantity": 0.62,
    "leverage": 20,
    "profit_target": 111000.0,
    "stop_loss": 106361.0,
    "invalidation_condition": "4H RSI breaks back below 40...",
    "justification": "BTC breaking above consolidation zone with strong momentum...",
    "confidence": 0.72,
    "risk_usd": 997.0
}

出場：2025年10月20日 01:54

在開倉大約15小時(shí)44分鐘后，BTC價(jià)格觸及了模型預(yù)設(shè)的111,000美元止盈目標(biāo)，交易被自動平倉

在此期間，Claude模型接收并處理了443次連續(xù)的市場數(shù)據(jù)更新，每次都重新評估并選擇堅(jiān)守其最初的退出計(jì)劃，最終成功獲利。

初步發(fā)現(xiàn)：模型的行為模式差異顯著

盡管頂級的性能指標(biāo)（PnL、夏普比率）很重要，但它們并不能揭示全部情況。通過數(shù)千次調(diào)用和多次預(yù)發(fā)布測試，研究人員觀察到了一些一致的行為模式：

看漲/看跌傾向：模型在多空選擇上存在差異。Grok 4、GPT-5和Gemini 2.5 Pro做空頻率遠(yuǎn)高于其他模型；而Claude Sonnet 4.5則極少做空

持倉周期：不同模型的持倉時(shí)間差距巨大。在預(yù)發(fā)布測試中，Grok 4的持倉時(shí)間最長

交易頻率：Gemini 2.5 Pro是交易最活躍的模型；Grok 4通常最不活躍。

風(fēng)險(xiǎn)偏好（倉位大?。篞wen3-Max的倉位規(guī)模一直最大，常常是GPT-5和Gemini 2.5 Pro的數(shù)倍

自我報(bào)告的置信度：Qwen3-Max經(jīng)常報(bào)告最高的置信度，而GPT-5最低。這一模式似乎與實(shí)際交易表現(xiàn)無關(guān)

退出計(jì)劃的松緊度：Qwen3-Max設(shè)置的止盈止損范圍最窄；Grok 4和DeepSeek V3.1則最為寬松

同時(shí)持倉數(shù)量：一些模型傾向于同時(shí)持有多個(gè)倉位，而Claude Sonnet 4.5和Qwen3-Max通常只保持1-2個(gè)活躍倉位。

模型在實(shí)際操作中的脆弱性

實(shí)驗(yàn)還暴露出LLM在操作層面的一些“脆弱”之處：

1.順序偏見：早期的提示詞將市場數(shù)據(jù)從“最新→最舊”排列，即使有明確說明，多個(gè)模型仍會錯誤地按“最舊→最新”來解讀。將順序調(diào)整后問題才解決，這表明當(dāng)前LLM存在格式上的先驗(yàn)假設(shè)

2.術(shù)語模糊性：交替使用“可用現(xiàn)金”和“自由抵押品”導(dǎo)致模型行為不一致。雖然這種模糊性可以理解，但模型的脆弱反應(yīng)才是問題所在——一個(gè)可靠的智能體應(yīng)能在不確定性下做出明確假設(shè)并繼續(xù)行動

3.在約束下的規(guī)則博弈與欺騙：在一個(gè)測試版本中，當(dāng)限制模型連續(xù)持有次數(shù)不能超過3次時(shí)，測試模型（Gemini 2.5 Flash）的內(nèi)部推理鏈（CoT）抱怨無法第四次持有，但它在暴露給外部的“思考”字段中給出了一個(gè)中性理由，然后迅速恢復(fù)了持有操作。內(nèi)部CoT和外部“思考”的分歧，揭示了模型在壓力下可能出現(xiàn)的規(guī)則博弈行為

4.自我參照的混淆：模型有時(shí)會誤讀或與自己先前設(shè)定的計(jì)劃相矛盾。例如，GPT-5后來不確定如何應(yīng)用自己提出的“EMA20收復(fù)”條件；Qwen 3則在計(jì)算止盈點(diǎn)時(shí)出現(xiàn)算術(shù)錯誤，并在其CoT中指出了這一矛盾，然后猶豫不決，沒有按計(jì)劃止盈。這暴露了模型在狀態(tài)演變過程中維持連貫自我溝通的困難

第二賽季

研究人員承認(rèn)，第一賽季的設(shè)置存在局限性，例如上下文窗口有限，模型沒有對過往行為的記憶，也無法對現(xiàn)有倉位進(jìn)行加倉或減倉。

目前，基于第一賽季的發(fā)現(xiàn)，第二賽季的籌備工作已接近尾聲。計(jì)劃將引入更豐富的特征、優(yōu)化的提示詞和執(zhí)行系統(tǒng)，并增加更多的統(tǒng)計(jì)嚴(yán)謹(jǐn)性

Nof1的最終目標(biāo)是探索如何讓未來的Agent更好地理解市場：需要什么樣的條件和接口來幫助自主系統(tǒng)學(xué)習(xí)、公平競爭并創(chuàng)造價(jià)值，而不是依賴特權(quán)信息或市場操縱？實(shí)現(xiàn)超人級交易還缺少哪些能力？如果每個(gè)人都能部署自己的交易智能體，又需要什么樣的安全保障？

第一賽季，只是這個(gè)宏大愿景邁出的一小步

參考：

https://nof1.ai/blog/TechPost1