當(dāng) AI Agent 逐漸走出對(duì)話框，真正的難點(diǎn)不再是 “回答得多聰明”，而是能否像人一樣完成任務(wù)閉環(huán)：看懂屏幕、點(diǎn)擊按鈕、填寫(xiě)表單、整理文件、生成交付物，并把結(jié)果同步回團(tuán)隊(duì)協(xié)作系統(tǒng)。

我們開(kāi)源的Open Cowork，正是一次面向 “桌面端虛擬同事” 的實(shí)踐：一鍵安裝、無(wú)需寫(xiě)代碼，讓模型在安全沙箱里操作你的工作空間，既能產(chǎn)出 PPT/Word/Excel/PDF 等專業(yè)成果，也能通過(guò) GUI 直接操作電腦完成更復(fù)雜更通用的跨應(yīng)用流程。

• 代碼鏈接：https://github.com/OpenCoworkAI/open-cowork

https://mp.weixin.qq.com/s/NylUAZLAWiBdkf6bkqbgOQ?click_id=6

GUI操作

PPT生成

飛書(shū)操控

一、為什么要做「能用電腦」的 AI？

過(guò)去兩年，大模型的推理與生成能力突飛猛進(jìn)，但在真實(shí)辦公場(chǎng)景中，高頻任務(wù)往往卡在執(zhí)行層面

• 應(yīng)用孤島： 網(wǎng)頁(yè)、桌面應(yīng)用、企業(yè)系統(tǒng)之間缺乏統(tǒng)一 API。
• 流程割裂： 數(shù)據(jù)分散在瀏覽器、文檔、IM 和本地文件中。
• 人工瓶頸： 用戶仍需充當(dāng) “搬運(yùn)工”，在不同窗口間復(fù)制粘貼。

我們認(rèn)為，Agent 不應(yīng)只止步于 “對(duì)話建議”。Open Cowork 的目標(biāo)是將這些碎片化動(dòng)作自動(dòng)化：像人一樣操作電腦，跑完流程，并以可交付的形式（文檔、表格、PPT）落地，最終通過(guò)飛書(shū)等工具進(jìn)入團(tuán)隊(duì)協(xié)作流。

二、Open Cowork 是什么？

Open Cowork 是 Claude Cowork 理念的開(kāi)源增強(qiáng)實(shí)現(xiàn)。 它提供 Windows 與 macOS 的一鍵安裝包，核心是一個(gè) “沙箱化工作區(qū)”：模型被授權(quán)在指定 Workspace 內(nèi)讀寫(xiě)文件、調(diào)用工具，并通過(guò)內(nèi)置 Skills 系統(tǒng)將數(shù)據(jù)加工成專業(yè)交付物。

此外，Open Cowork 不僅僅是 Claude Cowork 的開(kāi)源復(fù)刻，我們還實(shí)現(xiàn)了近期熱門(mén)的 OpenClaw 的核心遠(yuǎn)程控制功能（例如通過(guò)飛書(shū)遠(yuǎn)程發(fā)送指令并收到回復(fù)），以及支持了對(duì)電腦端 APP 的通用 GUI 操作（例如可以支持模型操作 Cursor APP 來(lái)進(jìn)行代碼的迭代改進(jìn)與交互測(cè)試），這對(duì)于沒(méi)有實(shí)現(xiàn) MCP 接口的桌面 APP 尤為重要。

能力對(duì)比一覽：

三、三大能力組合：

Skills × GUI × Remote

1）Skills：面向交付的 “工作流技能庫(kù)”

Agent 的價(jià)值不應(yīng)止步于 Chat 窗口。Open Cowork 內(nèi)置了標(biāo)準(zhǔn)化的 Skills 系統(tǒng)（支持自定義與擴(kuò)展），核心目標(biāo)只有一個(gè)：產(chǎn)出可用的文件

• 覆蓋主流格式： 支持 PPTX、DOCX、XLSX、PDF 的原生生成與編輯。
• 結(jié)構(gòu)化輸出： 無(wú)論是將非結(jié)構(gòu)化文本轉(zhuǎn)為 Excel 報(bào)表，還是根據(jù)大綱自動(dòng)生成演示文稿，我們讓模型直接交付 “半成品” 甚至 “成品”，而非中間態(tài)的文字。

PPT 制作視頻：從本地文件 / 大綱自動(dòng)生成可編輯的 PPTX

2）GUI：讓模型像人一樣操作電腦，把能做的事情變多

API 總有覆蓋不到的地方，但 UI 界面是通用的。GUI 模塊讓模型具備了 “人類(lèi)操作” 的能力，將 Agent 的可用性擴(kuò)展到 OS 層面。

• Screen-to-Action： 通過(guò)截圖理解當(dāng)前 UI 狀態(tài)，規(guī)劃并執(zhí)行鼠標(biāo)點(diǎn)擊、拖拽、文本輸入等動(dòng)作。
• 跨應(yīng)用自動(dòng)化： 能夠處理復(fù)雜的跨軟件鏈路（例如：從 ERP 抓數(shù)據(jù) -> 填入 Excel -> 導(dǎo)出 PDF）。

在產(chǎn)品體驗(yàn)上，我們強(qiáng)調(diào)的是 “能做更多事、像人一樣動(dòng)手”。對(duì)于 GUI 理解與操作任務(wù)，建議選擇更強(qiáng)的多模態(tài)模型以獲得更穩(wěn)的步驟執(zhí)行。

GUI 操作視頻：利用 GUI 界面操作 cursor 寫(xiě)小程序并迭代改進(jìn)

3）Remote：接入飛書(shū)，把它變成真正的 “虛擬同事”

如果 GUI 讓它 “會(huì)做事”，Remote 則讓它 “懂協(xié)作”。Open Cowork 拒絕做一個(gè)孤獨(dú)的桌面程序，通過(guò)接入飛書(shū)（Lark）等協(xié)作平臺(tái)，它打通了本地執(zhí)行與團(tuán)隊(duì)協(xié)同的壁壘

• 閉環(huán)工作流： AI 在你電腦上跑完數(shù)據(jù)（GUI/Skills），轉(zhuǎn)頭就能把做好的報(bào)表扔進(jìn)部門(mén)群（Remote），或者同步到在線文檔。
• 真正的虛擬同事： 它既有本地環(huán)境的執(zhí)行權(quán)限，又有團(tuán)隊(duì)系統(tǒng)的溝通權(quán)限。產(chǎn)出不再停留在你的硬盤(pán)里，而是直接流動(dòng)到團(tuán)隊(duì)的業(yè)務(wù)流中。

遠(yuǎn)程操控視頻：利用飛書(shū)遠(yuǎn)程操控 Open Cowork

四、安全性：讓 “能動(dòng)手” 盡量可控

桌面端 Agent 的能力越強(qiáng)，安全邊界越重要。Open Cowork 的基本原則是：默認(rèn)把所有操作限制在你選定的 workspace 內(nèi)。同時(shí)，我們提供更強(qiáng)的 VM 級(jí)隔離選項(xiàng)：Windows 側(cè)優(yōu)先使用 WSL2，macOS 側(cè)可使用 Lima，將命令執(zhí)行放入隔離環(huán)境中運(yùn)行，以降低對(duì)宿主機(jī)的影響。

桌面端 Agent 的能力越強(qiáng)，賦予 Agent “系統(tǒng)級(jí)操作權(quán)限” 越要嚴(yán)格地風(fēng)控。Open Cowork 堅(jiān)持 “默認(rèn)安全” 的設(shè)計(jì)原則：

• Workspace 限制： 文件讀寫(xiě)權(quán)限被嚴(yán)格圈定在用戶授權(quán)的目錄下，防止全盤(pán)掃描。
• 環(huán)境隔離（Sandbox）： 提供基于虛擬化的強(qiáng)隔離方案。

Windows： 推薦使用 WSL2 子系統(tǒng)運(yùn)行核心邏輯。

macOS： 適配 Lima 虛擬機(jī)環(huán)境。 通過(guò)將命令執(zhí)行放入隔離沙箱，最大程度降低對(duì)宿主機(jī)的誤操作風(fēng)險(xiǎn)。

五、如何快速上手（3 分鐘）

1）下載并安裝：Windows 使用 .exe，macOS（Apple Silicon）使用 .dmg。

2）配置模型：在設(shè)置頁(yè)填寫(xiě) API Key、Base URL 與模型名（支持多家 OpenAI-compatible/Anthropic-compatible 提供方）。

3）選擇工作區(qū)：授權(quán)一個(gè)你希望 AI 操作的文件夾作為 workspace。

4）開(kāi)始協(xié)作：例如 “讀取這個(gè)文件夾里的 financial_report.csv，生成 5 頁(yè) PPT 總結(jié)，并把結(jié)果發(fā)到飛書(shū)群里?！?/p>

六、開(kāi)源與共建

Open Cowork 以 MIT License 開(kāi)源，歡迎開(kāi)發(fā)者貢獻(xiàn)新的 Skills、MCP Connector、Remote 集成與 GUI 操作優(yōu)化。我們希望和更多社區(qū)伙伴一起，把 “桌面虛擬同事” 從 demo 變成可持續(xù)迭代的基礎(chǔ)設(shè)施。

作者簡(jiǎn)介：

Open Cowork Team：由多位清華大學(xué)在讀的博士生 / 本科生組成，關(guān)注桌面端 AI Agent、MCP 生態(tài)與安全沙箱。我們希望把 AI 從 “會(huì)聊天” 推進(jìn)到 “會(huì)動(dòng)手”，打造可安裝、可擴(kuò)展、可共建的虛擬同事工作臺(tái)。