【CNMO科技消息】近日，據(jù)外媒報(bào)道，蘋果研究人員已成功開發(fā)出一款名為Ferret-UI Lite的全新設(shè)備端人工智能代理。這款輕量級模型能夠直接在設(shè)備上運(yùn)行，并根據(jù)用戶的指令自主與各類應(yīng)用程序的圖形界面進(jìn)行交互。

據(jù)CNMO了解，這項(xiàng)研究是蘋果對多模態(tài)大語言模型，特別是其Ferret系列模型的持續(xù)探索。早在2023年底，蘋果就推出了名為“FERRET”的基礎(chǔ)模型，旨在讓AI理解圖像中的特定部分。此后，蘋果陸續(xù)發(fā)布了針對移動(dòng)用戶界面（UI）理解的Ferret-UI及其增強(qiáng)版Ferret-UI 2。這些早期模型雖然功能強(qiáng)大，但模型參數(shù)較大，更側(cè)重于在服務(wù)器端運(yùn)行。

此次發(fā)布的Ferret-UI Lite則代表了不同的研究方向——高效與輕量化。它是一個(gè)僅有30億參數(shù)的變體，其核心目標(biāo)是在資源有限的設(shè)備上（如手機(jī)）實(shí)現(xiàn)強(qiáng)大的GUI（圖形用戶界面）代理功能。

研究人員指出，當(dāng)前大多數(shù)GUI代理都依賴大型基礎(chǔ)模型，這些模型雖然推理和規(guī)劃能力強(qiáng)，但體積龐大、計(jì)算需求高，難以在設(shè)備端流暢運(yùn)行。為了解決這一矛盾，F(xiàn)erret-UI Lite通過一系列創(chuàng)新技術(shù)，實(shí)現(xiàn)了性能與體積的平衡。它采用了實(shí)時(shí)裁剪與放大技術(shù)：模型在初步分析屏幕后，會(huì)對其關(guān)注的區(qū)域進(jìn)行動(dòng)態(tài)裁剪和放大，再進(jìn)行二次判斷。這有效彌補(bǔ)了小模型處理大量圖像信息的局限性。

研究結(jié)果顯示，盡管體積小巧，F(xiàn)erret-UI Lite在多個(gè)基準(zhǔn)測試中的表現(xiàn)，足以匹敵甚至超越參數(shù)規(guī)模高達(dá)其24倍的競品模型。它尤其擅長處理短期、低層次的操作任務(wù)。雖然在涉及多個(gè)步驟的復(fù)雜交互上表現(xiàn)尚有不足，但作為一款完全運(yùn)行在設(shè)備端的AI代理，它提供了顯著優(yōu)勢：所有數(shù)據(jù)處理都在本地完成，無需上傳至云端，極大地提升了用戶隱私和數(shù)據(jù)安全性。

據(jù)悉，與之前主要使用iPhone截圖進(jìn)行測試的版本不同，F(xiàn)erret-UI Lite的訓(xùn)練和評估主要在Android、網(wǎng)頁及桌面GUI環(huán)境中進(jìn)行。這或許反映了當(dāng)前大規(guī)模GUI代理測試平臺的可獲取性現(xiàn)狀，但也展示了該模型跨平臺應(yīng)用的潛力。