Mu 小語言模型使 AI 代理能夠對數(shù)百個系統(tǒng)設置執(zhí)行操作。它現(xiàn)在為一些 Windows 預覽體驗成員提供預覽版。點擊輸入圖片描述（最多30字）Mu 進行實時問答的屏幕截圖。圖片：Windows YouTube 頻道微軟用于設備端處理的最新小語言模型MU有一個特定的用例：Windows 11 設置應用程序。 6 月 23 日，Microsoft 推出了 Mu，這是一種緊湊的語言模型，旨在直接在 Windows 設備上運行。Mu 專為增強新的設置代理而構建，已在 Copilot+ PC 的預覽版中提供，并且是免費提供的。Mu 是 Settings （設置） 菜單中 AI 代理背后的技術，允許用戶提出自然語言問題。獲得許可后，代理可以自行采取行動來解決用戶提出的問題。因此，它需要能夠解釋和操作數(shù)百個系統(tǒng)設置。Mu 現(xiàn)在為一些 Windows 預覽體驗成員提供預覽版。Mu 如何將處理能力打包到相對緊湊的硬件上Mu 是由 Microsoft 研究團隊開發(fā)的 3.3 億參數(shù)模型。與基于云的大型語言模型不同，Mu 完全使用神經處理單元 （NPU） 在設備上運行。這使它能夠直接響應自然語言命令，例如“打開暗模式”或“調整亮度”，而無需依賴云服務或互聯(lián)網連接。目的是在 Windows 11 中啟用隱私優(yōu)先、低延遲的 AI 功能，從“設置”應用程序開始。在 6 月 23 日的新聞稿中，微軟透露了“設置”中 AI 代理背后的設備上小語言模型的工作原理。Mu 首先在 Azure 機器學習上的 NVIDIA A100 GPU 上進行訓練。訓練后，Mu 在 PC 的神經處理單元（NPU）上運行，以每秒100多個令牌的速度響應。Mu建立在微軟從Phi Silica 學到的在設備上運行小型語言模型的基礎上，Phi Silica是2024 年為Snapdragon X 系列筆記本電腦上的 Windows 11 Copilot+ PC 構建的模型。據微軟稱，選擇編碼器-解碼器語言模型而不是僅解碼器架構也可以提高效率?！巴ㄟ^將輸入令牌與輸出令牌分開，Mu 的一次性編碼大大減少了計算和內存開銷?！蔽④浉笨偛眉?Windows 應用科學杰出工程師 Vivek Pradeep 在博客文章中寫道?！霸趯嵺`中，這意味著在專用硬件上具有更低的延遲和更高的吞吐量?！蔽④洷硎?，編碼器-解碼器語言模型比僅解碼器模型更高效。Mu 使用編碼器-解碼器 transformer 架構構建，與傳統(tǒng)的純解碼器模型相比，該架構可以更高效地處理輸入。據稱，Mu 提供了：·Qualcomm NPU 上的首令牌延遲縮短 47%·與僅使用標準解碼器設置相比，解碼速度提高了 5倍·推理速度超過每秒 100 個令牌，在 Surface Laptop 7 等設備上達到 200 個令牌/秒以上響應時間低于 500 毫秒為了進一步優(yōu)化 Windows 設備的 Mu，Microsoft 集成了以下功能：·共享輸入/輸出嵌入層·旋轉嵌入和分組查詢注意力·雙層規(guī)范·8 位或 16 位量化，處理速度更快·針對 Intel、AMD 和 Qualcomm NPU 的硬件特定調整這些改進使 Mu 即使在資源受限的硬件上也能高效運行。Mu 針對 Copilot+ PC 上的 NPU 進行了優(yōu)化在使用 NPU 的過程中，微軟的開發(fā)人員學會了如何塑造 Mu 的設計以適應處理器。這包括確保模型架構和參數(shù)形狀與硬件的并行度和內存限制保持一致，優(yōu)化編碼器和解碼器之間的參數(shù)分布，以及以其他方式提高效率。通過使用相同的權重集來表示輸入令牌和生成輸出 logits，從而減少了參數(shù)數(shù)量，這是確保在內存受限的 NPU 上快速執(zhí)行的關鍵因素。如果用戶提出的問題提示 NPU 上不支持或效率低下的任何作，Mu 將避免這些作。此外，對變壓器架構和模型量化技術的更改提高了NPU的電源效率?！霸O置”中的 AI 代理在 Windows 11 Insider Preview 版本中可用，可供 Windows 預覽體驗成員在開發(fā)人員頻道中訪問。目前只有搭載 Snapdragon 的 Copilot+ PC 可以使用它，盡管 微軟表示基于 AMD 和 Intel 的 PC 將在未指定日期獲得訪問權限。

Mu 小語言模型使 AI 代理能夠對數(shù)百個系統(tǒng)設置執(zhí)行操作。它現(xiàn)在為一些 Windows 預覽體驗成員提供預覽版。

Mu 進行實時問答的屏幕截圖。圖片：Windows YouTube 頻道

微軟用于設備端處理的最新小語言模型MU有一個特定的用例：Windows 11 設置應用程序。 6 月 23 日，Microsoft 推出了 Mu，這是一種緊湊的語言模型，旨在直接在 Windows 設備上運行。Mu 專為增強新的設置代理而構建，已在 Copilot+ PC 的預覽版中提供，并且是免費提供的。

Mu 是 Settings （設置） 菜單中 AI 代理背后的技術，允許用戶提出自然語言問題。獲得許可后，代理可以自行采取行動來解決用戶提出的問題。因此，它需要能夠解釋和操作數(shù)百個系統(tǒng)設置。

Mu 現(xiàn)在為一些 Windows 預覽體驗成員提供預覽版。

Mu 如何將處理能力打包到相對緊湊的硬件上

Mu 是由 Microsoft 研究團隊開發(fā)的 3.3 億參數(shù)模型。與基于云的大型語言模型不同，Mu 完全使用神經處理單元 （NPU） 在設備上運行。這使它能夠直接響應自然語言命令，例如“打開暗模式”或“調整亮度”，而無需依賴云服務或互聯(lián)網連接。

目的是在 Windows 11 中啟用隱私優(yōu)先、低延遲的 AI 功能，從“設置”應用程序開始。

在 6 月 23 日的新聞稿中，微軟透露了“設置”中 AI 代理背后的設備上小語言模型的工作原理。Mu 首先在 Azure 機器學習上的 NVIDIA A100 GPU 上進行訓練。訓練后，Mu 在 PC 的神經處理單元（NPU）上運行，以每秒100多個令牌的速度響應。

Mu建立在微軟從Phi Silica 學到的在設備上運行小型語言模型的基礎上，Phi Silica是2024 年為Snapdragon X 系列筆記本電腦上的 Windows 11 Copilot+ PC 構建的模型。

據微軟稱，選擇編碼器-解碼器語言模型而不是僅解碼器架構也可以提高效率。

“通過將輸入令牌與輸出令牌分開，Mu 的一次性編碼大大減少了計算和內存開銷?！蔽④浉笨偛眉?Windows 應用科學杰出工程師 Vivek Pradeep 在博客文章中寫道。“在實踐中，這意味著在專用硬件上具有更低的延遲和更高的吞吐量?！?/p>

微軟表示，編碼器-解碼器語言模型比僅解碼器模型更高效。

Mu 使用編碼器-解碼器 transformer 架構構建，與傳統(tǒng)的純解碼器模型相比，該架構可以更高效地處理輸入。據稱，Mu 提供了：

·Qualcomm NPU 上的首令牌延遲縮短 47%

·與僅使用標準解碼器設置相比，解碼速度提高了 5倍

·推理速度超過每秒 100 個令牌，在 Surface Laptop 7 等設備上達到 200 個令牌/秒以上

響應時間低于 500 毫秒

為了進一步優(yōu)化 Windows 設備的 Mu，Microsoft 集成了以下功能：

·共享輸入/輸出嵌入層

·旋轉嵌入和分組查詢注意力

·雙層規(guī)范

·8 位或 16 位量化，處理速度更快

·針對 Intel、AMD 和 Qualcomm NPU 的硬件特定調整

這些改進使 Mu 即使在資源受限的硬件上也能高效運行。

Mu 針對 Copilot+ PC 上的 NPU 進行了優(yōu)化

在使用 NPU 的過程中，微軟的開發(fā)人員學會了如何塑造 Mu 的設計以適應處理器。這包括確保模型架構和參數(shù)形狀與硬件的并行度和內存限制保持一致，優(yōu)化編碼器和解碼器之間的參數(shù)分布，以及以其他方式提高效率。

通過使用相同的權重集來表示輸入令牌和生成輸出 logits，從而減少了參數(shù)數(shù)量，這是確保在內存受限的 NPU 上快速執(zhí)行的關鍵因素。

如果用戶提出的問題提示 NPU 上不支持或效率低下的任何作，Mu 將避免這些作。

此外，對變壓器架構和模型量化技術的更改提高了NPU的電源效率。

“設置”中的 AI 代理在 Windows 11 Insider Preview 版本中可用，可供 Windows 預覽體驗成員在開發(fā)人員頻道中訪問。目前只有搭載 Snapdragon 的 Copilot+ PC 可以使用它，盡管 微軟表示基于 AMD 和 Intel 的 PC 將在未指定日期獲得訪問權限。