OpenAI的勁敵 Anthropic 再放大招，突然發(fā)布Claude 3.5 Sonnet。

經(jīng)過(guò)「四木相對(duì)論」手搓測(cè)試，只能說(shuō)這次Claude真的，又炸裂了。

先做個(gè)科普，Claude3家族有三個(gè)參數(shù)量級(jí)的模型，分別是：Claude 3 Opus（大杯）、Claude 3 Sonnet（中杯） 和 Claude 3 Haiku（小杯）。

這一次更新的Claude 3.5 Sonnet，是中杯的升級(jí)版，目前免費(fèi)賬號(hào)能直接使用，付費(fèi)賬號(hào)將獲得更快速率和更多使用次數(shù)。

這次Claude 3.5 Sonnet在多模態(tài)、推理、代碼能力等方面都有不錯(cuò)的表現(xiàn)。

更為驚艷的是，Claude 3.5 Sonnet 還推出了一個(gè)叫Artifacts 的功能。

這個(gè)功能真的絕絕子！它允許用戶(hù)在完成輸入后，直觀看到Claude執(zhí)行推理的結(jié)果，并直接展示生成的圖片、代碼等信息。

也就是說(shuō)， Claude 在模型中植入了一個(gè)功能，讓用戶(hù)一眼就能栩栩如生地看到自己使用Claude的結(jié)果。

「四木相對(duì)論」在第一時(shí)間，使用Claude 3.5 Sonnet，純純用自然語(yǔ)言（無(wú)任何代碼）創(chuàng)作了一款「卡通小人接金幣」小游戲。

效果真的稱(chēng)得上......炸裂！

一個(gè)美好又簡(jiǎn)潔的開(kāi)始

當(dāng)進(jìn)入新版Claude、或點(diǎn)擊右上角用戶(hù)頭像-Feature Preview后，就能打開(kāi)這個(gè)神奇的Artifacts功能。

這一次，「四木相對(duì)論」選擇讓Claude制作一個(gè)類(lèi)似“接金幣”的游戲。

我們首次輸入的Prompt，是對(duì)游戲的基本元素、規(guī)則的簡(jiǎn)單描述。

能看到，"工具人"Claude被要求用代碼生成一個(gè)卡通人物，并按規(guī)則移動(dòng)人物去接金幣。

我們?cè)赑rompt中給Claude挖的“坑”也不少。

比如，允許用戶(hù)通過(guò)鍵盤(pán)上的方向鍵交互；對(duì)元素的尺寸描述使用了相對(duì)大小，而不是絕對(duì)大小；并且對(duì)動(dòng)畫(huà)的運(yùn)動(dòng)規(guī)則和時(shí)長(zhǎng)也進(jìn)行了約束。

指令發(fā)出后，Claude反應(yīng)迅速，在頁(yè)面左側(cè)展示出當(dāng)前進(jìn)行的拆解任務(wù)，右側(cè)的Artifacts區(qū)域會(huì)實(shí)時(shí)展示生成的代碼。

僅用了大約十幾秒（好快），Claude就完成了接金幣1.0版本的代碼，并直接運(yùn)行在了Artifacts區(qū)域。

能看到，這個(gè)第一版的接金幣小游戲的基本功能已經(jīng)具備。

「四木相對(duì)論」實(shí)際測(cè)試，卡通形象能夠根據(jù)鍵盤(pán)的左右方向鍵實(shí)現(xiàn)移動(dòng)，也能接到金幣并實(shí)現(xiàn)加分。

（太了�。。�

但是這個(gè)1.0版本也有著顯而易見(jiàn)的問(wèn)題。

首先是游戲畫(huà)面較寬。

受限于Artifacts較窄的區(qū)域，我們無(wú)法看到超過(guò)寬度部分的畫(huà)面，并且當(dāng)人物向右移動(dòng)到需要滑動(dòng)頁(yè)面才能展示出的區(qū)域時(shí)，左上角的得分也會(huì)滑出畫(huà)面。

此外，雖然從左上角的分?jǐn)?shù)變化可以知道人物成功接到了金幣，但金幣并沒(méi)有消失，而是會(huì)穿過(guò)人物繼續(xù)運(yùn)動(dòng)。

最后，分?jǐn)?shù)也不是每次加1，而是有+12、+14兩種隨機(jī)變化。

追（事）求（兒）卓（很）越（多）的「四木相對(duì)論」怎么可能就此停止！

于是，我們繼續(xù)嘗試對(duì)上述的問(wèn)題優(yōu)化，對(duì)Claude提出了整整六個(gè)優(yōu)化點(diǎn)。

其中比較難的是，Claude需要通過(guò)對(duì)相對(duì)位置的描述，增加金幣被接到后消失的邏輯。

這里，我們的Prompt只寫(xiě)了“當(dāng)金幣模型的下邊緣接觸到人物的上邊緣時(shí)，金幣消失，分?jǐn)?shù)增加”。

這意味Claude不僅得準(zhǔn)確找到兩個(gè)元素，還得分別計(jì)算上下兩個(gè)邊緣的位置。

（是不是很像接到老板需求的牛馬）

另外，1.0版本中人物的移動(dòng)不夠平滑，我們也要求Claude嘗試通過(guò)“需要使得運(yùn)動(dòng)更為平滑”的指令來(lái)在2.0版本中修復(fù)。

指令發(fā)出，開(kāi)始生成代碼。

聰慧的Claude，這次還體現(xiàn)出細(xì)心的特質(zhì)——在Artifacts中，它除了顯示優(yōu)化后的代碼，還貼心地在注釋部分標(biāo)注出此處分別是在響應(yīng)哪一個(gè)命令。

（Claude給出注釋?zhuān)?/p>

仍然是大約十幾秒的時(shí)間，我們成功獲得了接金幣游戲的2.0版本。

（優(yōu)化過(guò)的2.0版本）

輸入的6條優(yōu)化指令，全部都被準(zhǔn)確的執(zhí)行了。

當(dāng)然，請(qǐng)忽略Claude認(rèn)為這個(gè)詭異的、有著奇怪劉海兒和微笑的粉紅色圓臉，是更“可愛(ài)”的形象。

能看到，這一版本Claude幾乎進(jìn)行了所有我們提出的優(yōu)化：

• 畫(huà)面縮小到了Artifacts能顯示完全的區(qū)域，并增加了邊界線(xiàn)；
• 人物的移動(dòng)非常平滑；
• 金幣的掉落速度更快了；
• 成功實(shí)現(xiàn)金幣被接到后消失的邏輯，消失的時(shí)機(jī)完全符合描述。
  

只有“分?jǐn)?shù)的遞增”遇到一個(gè)可能是偶發(fā)的bug（后續(xù)這個(gè)問(wèn)題自動(dòng)被Claude修復(fù)了），也就是當(dāng)分?jǐn)?shù)遞增到14后，下一個(gè)分?jǐn)?shù)直接變成了489。

2.0版本已經(jīng)是一個(gè)比較完整的小游戲了。

一個(gè)0代碼基礎(chǔ)的小白，能依靠Claude光速做出這種效果已經(jīng)非常超出預(yù)期。

但或許正因一切實(shí)現(xiàn)得太過(guò)簡(jiǎn)單，我們決定繼續(xù)進(jìn)行更為復(fù)雜的優(yōu)化。

希望能難倒Claude。

開(kāi)始“封神”

3.0版本，我們進(jìn)行了更為復(fù)雜的優(yōu)化邏輯描述。

我們要求Claude對(duì)畫(huà)面背景進(jìn)行優(yōu)化：

• 分別生成天空和土地來(lái)填充游戲畫(huà)面；
• 還對(duì)金幣的樣式進(jìn)行了約束，不再希望使用一個(gè)黃色的純色圓形；
• 增加了一種掉落物體，除了金幣，現(xiàn)在還可能會(huì)掉下來(lái)炸彈，被接到后會(huì)進(jìn)行扣分；
• 增加了分?jǐn)?shù)變化時(shí)的動(dòng)畫(huà)，不再是僅僅變更數(shù)字。

也就是說(shuō)，這次Claude接到的任務(wù)不僅包括視覺(jué)迭代，還要實(shí)現(xiàn)更復(fù)雜的游戲邏輯。

這一次，在生成的代碼中，Claude自己給炸彈出現(xiàn)的概率增加了定義。

（Claude自己進(jìn)行概率注釋?zhuān)?/p>

這又一次震驚了我們。

我們給定的Prompt其實(shí)疏忽了這一點(diǎn)，沒(méi)有對(duì)炸彈和金幣分別出現(xiàn)的概率進(jìn)行說(shuō)明。

而Claude的代碼中自動(dòng)增加了70%出現(xiàn)金幣，30%的概率出現(xiàn)炸彈的、一個(gè)非常合理的比例。

按照常理推測(cè)，如果用戶(hù)并未定義概率，增加一種掉落物體后兩種物體的掉落數(shù)量應(yīng)該是1:1的。

但似乎Claude“知道”這個(gè)游戲應(yīng)該怎么玩，金幣的數(shù)量應(yīng)該高于炸彈的數(shù)量，所以它自己設(shè)定了一個(gè)合理值。

（也就是說(shuō)，在游戲邏輯上，這次我被Claude打敗了......）

再來(lái)看Artifacts給出的展示，3.0版本看上去非常完整：

卡通形象不再“奇怪”；金幣和炸彈會(huì)同時(shí)掉落；有加分也有減分；分?jǐn)?shù)能夠準(zhǔn)確計(jì)算；分?jǐn)?shù)的變化也會(huì)有相應(yīng)的動(dòng)畫(huà)。

（3.0版本的游戲）

再仔細(xì)看這個(gè)動(dòng)畫(huà)Demo，我們又有了驚人的發(fā)現(xiàn)！！

這次，Claude不僅“智慧”地自己增加了炸彈概率，還“自作主張”對(duì)分?jǐn)?shù)加減，給出了兩種不同的顏色。

而我們?cè)赑rompt中并未說(shuō)明，接到金幣加分和接到炸彈減分，并使用不同顏色動(dòng)畫(huà)展示的需求。

可是，Claude給到我們的效果，加分使用了綠色的“+1”，減分使用了紅色的“-10”。

（它不僅是真的會(huì)玩，還真的會(huì)教別人玩......）

再難一點(diǎn)，讓我們?cè)黾印暗谰摺边@個(gè)概念。

4.0版本的優(yōu)化Prompt中，我們?cè)黾恿恕白o(hù)盾”這個(gè)道具，嘗試難倒Claude。

（增加護(hù)盾要求）

這里，我們要求除了掉落金幣和炸彈外，還可能掉落護(hù)盾，讓Claude生成一個(gè)盾牌樣式的圖片，并規(guī)定了護(hù)盾物體的尺寸、運(yùn)動(dòng)速度。

我們還向它描述了，當(dāng)玩家接到護(hù)盾后，人物需要展示的動(dòng)畫(huà)，以及未來(lái)10秒即使接到炸彈也不會(huì)扣分的“特效”。

除了護(hù)盾的改動(dòng)外，還額外增加了一次加10分的“大金幣”、縮小了地面貼圖的尺寸、增加了裝飾天空的白云。

這一次，Claude直接“封神”。

白云、大金幣、護(hù)盾這些元素，都成功出現(xiàn)在了畫(huà)面中。

并且，它設(shè)計(jì)的人物在接到護(hù)盾后，周邊顯示出一圈藍(lán)色的邊。護(hù)盾讓人物在抵擋炸彈的同時(shí)，也能夠正常接到金幣加分。

（4.0版本的游戲）

10秒之后，代表護(hù)盾的藍(lán)色邊框會(huì)自動(dòng)消失，接到炸彈會(huì)正�？鄯帧�

這邏輯，真的是太完整了。

終于還是遇到了“bug”

體驗(yàn)過(guò)讓人驚艷的4.0版本后，我們還是不滿(mǎn)足。

于是在5.0版本中，Claude被要求增加更為復(fù)雜的“技能”概念、給游戲增加一個(gè)結(jié)束狀態(tài)，以及在每一次運(yùn)行時(shí)保存并計(jì)算歷史最高分。

但是沒(méi)想到這次輸入后，Claude在生成代碼到一半時(shí)，就報(bào)錯(cuò)了。

從給到的提示來(lái)看，這次Claude生成的代碼太多，已經(jīng)超過(guò)了單次回復(fù)允許的最大長(zhǎng)度，所以代碼還沒(méi)有完全生成完，就中斷了任務(wù)。

當(dāng)然，大家也可以氪金來(lái)解鎖......

我們決定繼續(xù)斗智斗勇，嘗試將完整版4.0的代碼進(jìn)行下載，Claude創(chuàng)建并保存了一個(gè).tsx的文件。

接下來(lái)，開(kāi)啟新對(duì)話(huà)，上傳代碼，刪除可能占用代碼字?jǐn)?shù)較多的“人物技能”部分的prompt，繼續(xù)嘗試進(jìn)行5.0的優(yōu)化。

果然，在清空了上下文、縮短了可能的生成代碼長(zhǎng)度之后，Claude這次完整生成了所有代碼。

有意思的是，盡管刪除了“技能”的設(shè)定，5.0版本的代碼長(zhǎng)度也依然很長(zhǎng)，導(dǎo)致Claude還沒(méi)說(shuō)完解釋的話(huà)，就中斷了任務(wù)。

不過(guò)呢，代碼部分已經(jīng)完成生成了，所以并沒(méi)有太大影響。

5.0版本的優(yōu)化第一次出現(xiàn)了比較大的偏差。

（5.0版本的的游戲）

除了白云成功增加了動(dòng)畫(huà)、地面增加了小草（非常小，仔細(xì)看能看到地上有3個(gè)小凸起）之外，最主要的游戲結(jié)束邏輯并沒(méi)能正確生成。

按照預(yù)期，當(dāng)分?jǐn)?shù)降至-30或以下時(shí)，游戲應(yīng)該暫停，畫(huà)面上顯示出Game Over字樣，并同時(shí)顯示歷史最高分。

但在這次實(shí)際生成的demo中，Claude并沒(méi)有實(shí)現(xiàn)這一功能，而是清空屏幕、重置分?jǐn)?shù)，直接重新開(kāi)始了游戲。

我們嘗試通過(guò)描述來(lái)解決bug，也就是直接告訴Claude，“當(dāng)前版本的代碼中，不會(huì)暫停游戲，而是將分?jǐn)?shù)清零后，直接重新開(kāi)始游戲”，同時(shí)一并修復(fù)那肉眼基本不可見(jiàn)的小草。

Claude先是立刻表示了歉意，承認(rèn)“我說(shuō)的對(duì)”，然后又迅速改了一版代碼。

結(jié)果，只有小草變大了（雖然也不怎么像草），游戲結(jié)束的bug并沒(méi)有修好，沒(méi)有暫停畫(huà)面，沒(méi)有Game Over，也沒(méi)有“重新開(kāi)始”的按鈕。

（它終于出Bug了）

讓用戶(hù)看得見(jiàn)效果

這次綜合體驗(yàn)下來(lái)，雖然Claude最后并沒(méi)有幫助我們實(shí)現(xiàn)全部的想法，但整體的體驗(yàn)還是讓人不由得贊嘆，技術(shù)小白終于能夠基本絲滑“零門(mén)檻”地制作游戲了。

之前，其他大語(yǔ)言模型也可以根據(jù)描述生成代碼，但對(duì)沒(méi)有任何研發(fā)經(jīng)驗(yàn)的用戶(hù)來(lái)說(shuō)，很多時(shí)候仍不知道拿到這些代碼后應(yīng)該怎么“玩”這個(gè)游戲。

并且，用戶(hù)不能看到運(yùn)行效果，也就不知道這些代碼到底有沒(méi)有問(wèn)題，是不是符合預(yù)期。

然而，這次使用了更強(qiáng)模型的Claude，通過(guò)神奇的Artifacts功能，絲滑解決了這個(gè)問(wèn)題。

盡管單次輸入輸出的token數(shù)、單輪對(duì)話(huà)上下文的token數(shù)等還存在限制，但就和Suno一樣，現(xiàn)在的Claude能讓用戶(hù)立刻看到自己的產(chǎn)物，立刻優(yōu)化打磨，真正“玩”起來(lái)。

不論是模型能力還是用戶(hù)體驗(yàn)，這一次，Claude 3.5 Sonnet贏了。