千呼萬喚，蘋果終于官宣了 Apple Intelligence。

這一次，讓我們直接略過 IOS 18、MacOS Sequoia 以及其他 iPadOS、watchOS等等的更新，直接來看本次大會最受外界關(guān)注的蘋果的AI進展。

（插播一句，Apple Vision Pro 將于6月28日在中國大陸首發(fā)）

蘋果定義的好用AI

在正式介紹 Apple Intelligence 之前，CEO庫克先簡單說明了一下蘋果認為一個好用的AI產(chǎn)品應該具備什么條件。

他提到了5個關(guān)鍵詞：功能強大、簡潔易用、完美集成、個人定制、注重隱私。

言外之意似乎是在向觀眾們解釋，為什么蘋果這么久也沒在這波AI浪潮中推出什么產(chǎn)品或功能（因為咱們注重這些，而這些都很難，市面上的產(chǎn)品們也并沒做好......）。

高級副總裁克雷格上來先拉踩了一波其他產(chǎn)品。

“目前市面上不乏一些讓人眼前一亮的聊天工具，它們能利用全世界的知識來執(zhí)行大量的任務(wù)，但很少能充分了解你或你的需求。”

所以，Apple Intelligence 的核心產(chǎn)品力，就是更懂你的個人化智能系統(tǒng)。

概括來說，Apple Intelligence 主要通過自然語言與用戶交互、“讀懂”并生成圖片、直接操作其他Apps、以及理解只屬于個人的其他信息。

在推出時間上，「四木相對論」還是要給廣大消費者劃個重點：

Apple Intelligence將于今年夏天在美國推出英語試用版本。今年秋天將在iOS 18、iPadOS 18、macOS Sequoia中上線beta版本，其他功能及語言支持將在明年陸續(xù)推出。

老產(chǎn)品Siri，獲得新生

首先來看自然語言方面。

最先介紹的，是Siri的更新。蘋果最終還是選擇繼續(xù)迭代Siri這個已經(jīng)上線13年的老產(chǎn)品，而不是“換號重開”。

Siri有了新的“皮膚”和 Logo。在實際交互時，用戶喚醒Siri后出現(xiàn)的不再是屏幕下方那個轉(zhuǎn)動的小球，而是頗為酷炫的閃爍擴散的光波。

在演示demo中，用戶可以更自然的與Siri進行語音交流。

比如，當用戶發(fā)覺自己表達有問題時，可以迅速修正，Siri可以準確識別更正后的內(nèi)容。

此外，用戶可以在連續(xù)對話中使用代詞，Siri能夠根據(jù)已有的上下文知道用戶在后續(xù)對話中指代的是前文的哪個對象。

在demo演示中，用戶詢問了Siri一個目的地的天氣，并讓Siri創(chuàng)建一個明天去那里徒步的日程，Siri能夠準確識別出用戶所說的“那里”是什么地方。

在demo中，Siri大約需要4秒鐘來完成這一指令。

考慮到模型需要攜帶上下文來理解用戶的語義，并調(diào)用日歷App的API完成日程創(chuàng)建的任務(wù)后才會返回，這一等待時延還是相對可以接受的。

另一項交互上的更新，是允許與Siri通過打字的方式完成對話，這一更新直接干掉了ChatGPT App。

用戶只需要在屏幕下方快速輕點兩下，即可喚起Siri的輸入框，通過打字的方式完成指令的輸入。

這個無需打開、跳轉(zhuǎn)至任何App的交互方式，直接將ChatGPT等一眾大模型App所取代，蘋果直接將用戶使用AI功能的入口放在了系統(tǒng)最前端——鎖屏頁面上。

另一個主要能力，是支持Siri在用戶發(fā)起指令時，感知當前屏幕上的實時信息。

在demo演示中，用戶可以直接在信息App的頁面，讓Siri將當前對話窗口中的地址信息添加到這個對話用戶的聯(lián)系人名單中。

Siri可以在屏幕信息中找到用戶所說的“地址信息”，并能夠識別該對話人對應通訊錄中的哪一個。

此外，Siri還可以對其他App進行直接操作。

用戶可以直接通過自然語言描述，讓Siri找到符合搜索條件的照片，并能夠通過語音，讓Siri直接對照片進行編輯操作。

在執(zhí)行照片搜索任務(wù)時，demo中Siri的速度快的有點離譜，幾乎是語音命令剛結(jié)束1秒，搜索結(jié)果就已經(jīng)出現(xiàn)了。在隨后的照片編輯中，Siri自動調(diào)整了照片的亮度和對比度。

在結(jié)束編輯后，用戶依然可以繼續(xù)通過語音輸入，讓Siri把這張圖片添加到備忘錄中的指定位置。

除了Siri之外，其他與文本相關(guān)的演示內(nèi)容都是比較常規(guī)的大模型應用，比如總結(jié)文章要點、潤色郵件、修正語法錯誤等。

“不用再費勁琢磨prompt了”

語言功能之后，蘋果介紹了Apple Intelligence中的圖像相關(guān)功能。

首先是非常有意思的自創(chuàng)emoji功能，蘋果給它起了個酷炫的名字，Genmoji。

用戶可以在發(fā)送emoji的位置，添加一個自創(chuàng)的新的emoji。通過自然語言直接描述，或使用照片圖庫中已經(jīng)識別出的不同人物的形象，用戶可以創(chuàng)建全新的自定義emoji。

除了emoji外，Apple Intelligence 還允許用戶通過模型生成圖片。

Apple Intelligence 主打的是通過預設(shè)好的參數(shù)來降低生成圖片的門檻。

用戶可以通過選擇預設(shè)好的主題、對象、服裝、配置、場景等詞條，來快速生成預覽圖，“不用再費心琢磨提示詞”。

另外，圖片生成全部是在設(shè)備本地運行的，這意味著用戶不用擔心成本問題，想用多少次就用多少次。

當然，如果預設(shè)的關(guān)鍵詞、圖片風格不夠，用戶也可以通過輸入單詞的形式來添加自定義關(guān)鍵詞，或者手動選擇動畫、素描或插圖中的任意一種圖片風格。

總之，用戶不需要寫大段的、復雜的prompt。

備忘錄App中也集成了圖片生成功能，新的工具的名字叫做 Image Wand。

Image Wand支持用戶用Apple Pencil 將草圖圈起來，來觸發(fā)一個自動生成的圖片生成區(qū)域，Apple Intelligence會結(jié)合草圖及周圍的筆記，自動創(chuàng)建一張圖片。

Apple Intelligence還支持用戶快速修圖。

只需要在照片圖庫中打開編輯，全新的“清除”功能允許用戶圈選需要消除的對象，Apple Intelligence會根據(jù)圖片內(nèi)容來不改動主體的情況下智能一鍵去除選定的對象。

如果你還是想用ChatGPT...

最后，克雷格介紹了蘋果為了不讓用戶因為要使用其他模型或工具而頻繁切換App做出的“犧牲”。

當用戶發(fā)給Siri的指令讓Siri“覺得”可能ChatGPT會有更好的答案時，Siri會詢問用戶是否允許它使用ChatGPT來完成任務(wù)。

當用戶允許后，Siri會直接調(diào)用ChatGPT，并直接返回ChatGPT給出的答案。

用戶還可以在“編寫”功能中直接向ChatGPT發(fā)起指令，并且可以使用ChatGPT的圖片生成功能。

值得注意的是，沒有ChatGPT賬號的用戶并不需要注冊O(shè)penAI賬號就能夠通過上述的方式使用ChatGPT。

而ChatGPT的付費訂閱用戶則可以主動綁定自己的OpenAI賬號，并使用ChatGPT的付費能力（比如最新版的GPT-4o模型）。

“重新定義AI隱私安全”

除了核心產(chǎn)品能力的介紹，克雷格還在開頭簡單說明了Apple Intelligence的技術(shù)架構(gòu)。

得益于蘋果在芯片領(lǐng)域的不斷深耕，在A15 Pro及所有M系列芯片的設(shè)備上，模型都將部署在設(shè)備本地，并利用本地資源進行計算。

當用戶的需求需要調(diào)用到更大的云端模型時，設(shè)備將會在征得用戶的同意后，調(diào)用部署在云端的更大的模型，整個過程在芯片級保護用戶隱私數(shù)據(jù)的安全。

蘋果為之創(chuàng)造了一個新的名詞：Private Cloud Compute（私人云計算）。

Private Cloud Compute 相比于其他公有云服務(wù)主要提升的是隱私數(shù)據(jù)安全保護。

所有計算都將運行在Apple芯片的服務(wù)器上，提供與iPhone同樣的芯片級別保護能力。

當用戶發(fā)出一次請求后，Apple Intelligence首先會分析這次請求是否能夠在設(shè)備端本地直接處理完成。

如果不行，則會選擇使用 Private Cloud Compute 服務(wù)請求云端更大的模型來完成任務(wù)。

整個過程中，Apple Intelligence僅會傳輸跟本次任務(wù)強相關(guān)的數(shù)據(jù)，蘋果不會存儲任何用戶的數(shù)據(jù)，數(shù)據(jù)僅被用來完成用戶的請求。

并且同iPhone、iPad、Mac一樣，設(shè)備可以拒絕與未提供公開檢查報告的服務(wù)器進行數(shù)據(jù)交互（以上均為“據(jù)說”）。

據(jù)此，“蘋果為AI隱私設(shè)定了新的標準”。

迷霧中的端側(cè)模型

縱觀本次發(fā)布會上的所有AI功能，除了Genmoji富有創(chuàng)意之外，其他AI功能似乎都沒有那么“新穎”。相比之下，將模型部署在本地設(shè)備更值得關(guān)注。

不同于微軟直接官宣的Phi-Silica，發(fā)布會上并沒有公開任何本地設(shè)備所搭載的模型信息，不論是型號還是參數(shù)量。

雖然蘋果的研究團隊于今年3月14日在arXiv上發(fā)表了 MM1 多模態(tài)大模型的技術(shù)論文，但對比Phi-3家族中最小的僅有3B參數(shù)的Phi-Silica，MM1的參數(shù)量足足大了10倍。

Apple Intelligence 最終選擇的端側(cè)小模型如果不是其他的未發(fā)布的研究成果，很有可能是具有更小規(guī)模參數(shù)的縮小版 MM1 大模型。

本次發(fā)布會上蘋果也直接官宣了跟OpenAI的合作，也不排除OpenAI對 Apple Intelligence 的端側(cè)小模型提供了技術(shù)支持。

不過考慮到 OpenAI 基本是與英偉達強綁定，技術(shù)架構(gòu)肯定也會基于CUDA來優(yōu)化迭代，蘋果不太可能放棄投入了十多年研發(fā)的M系列自家芯片，不基于硬件架構(gòu)和軟件生態(tài)來研發(fā)自家的端側(cè)模型。

畢竟，蘋果非常在意“軟硬一體”所構(gòu)建的良好體驗與產(chǎn)品壁壘。

繼微軟推出 AI PC 后，蘋果也選擇將一個可能相對較小的模型部署在設(shè)備本地，未來肯定會有越來越多的端側(cè)模型被直接集成在各種智能設(shè)備上。

這些小模型被期望能夠響應大多數(shù)用戶的請求。

通過本地部署、本地運算的模式，提供給用戶更快響應、沒有算力成本負擔的AI解決方案，應該會是未來各種智能設(shè)備集成AI能力的主要路線。

當然，端側(cè)模型實際的效果如何，只能等大規(guī)模用戶真實的需求所檢驗了。