最近腦機(jī)接口的產(chǎn)品研發(fā)開始了，前段時(shí)間我就分享過我們團(tuán)隊(duì)的第二個(gè)空間應(yīng)用APP正式上線了。

在空間計(jì)算應(yīng)用上，我們可能是第一批的空間研發(fā)團(tuán)隊(duì)，其中在醫(yī)療行業(yè)上線的2個(gè)APP，已經(jīng)得到了下載，目前也在不斷的迭代更新。

在腦機(jī)接口的開發(fā)商，由于vision OS的數(shù)據(jù)隱私性，并沒有開放眼球追蹤數(shù)據(jù)，所以我們團(tuán)隊(duì)計(jì)劃使用安卓XR來完成BCI的集成。

正在我們打算all in AndroidXR的時(shí)候，上周我的團(tuán)隊(duì)收到了蘋果的小伙伴給的最新vision OS接口信息。

他們上線了BCI的接口，現(xiàn)在vision OS26 以及iOS、IPADOS，也就是說IPAD、iPhone等都可以接入腦機(jī)接口了。

注意的是非植入式腦機(jī)接口，允許將非植入式腦機(jī)接口類似鼠標(biāo)、鍵盤一樣接入進(jìn)去，允許開發(fā)者將其關(guān)聯(lián)，并且目前在BCI接口里開放了5個(gè)內(nèi)容，分別通過輔助功能接入、以及蘋果設(shè)備系統(tǒng)數(shù)據(jù)輸出，并且使用的是HID聲明，開發(fā)者可以將腦機(jī)接口設(shè)備開發(fā)成為不需要驅(qū)動(dòng)的、SDK、直接授權(quán)的外接硬件。

腦機(jī)接口BCI官方接口支持的交互組件與交互形式

目前官方接口通過輔助功能入口，支持界面UI掃描輪訓(xùn)、按鈕點(diǎn)擊、下拉選擇的鼠標(biāo)滑動(dòng)、以及收集vision Pro的系統(tǒng)數(shù)據(jù)反饋給BCI。

五個(gè)能力的HID 解讀

本次一共有5個(gè)接口ID，分別是ID1-ID5，我們依次講解下，并且在產(chǎn)品設(shè)計(jì)上腦機(jī)接口產(chǎn)品經(jīng)理可以做什么場(chǎng)景的開發(fā)。

HID 描述符定義了 BCI 硬件設(shè)備可以輸入和輸出的內(nèi)容。它定義了以下輸入和輸出報(bào)告：

• 報(bào)告 ID 1：BCI 輸入信號(hào)報(bào)告

• 報(bào)告 ID 2：BCI 輸入按鈕報(bào)告

• 報(bào)告 ID 3：BCI 輸入指針報(bào)告

• 報(bào)告 ID 4：BCI 輸入項(xiàng)目選擇報(bào)告

• 報(bào)告 ID 4：BCI 輸出掃描信息報(bào)告

1.BCI輸入信號(hào)報(bào)告

這個(gè)報(bào)告提供了 BCI 硬件設(shè)備所采集神經(jīng)信號(hào)的可解釋性與保真度的實(shí)時(shí)數(shù)據(jù)。
這些信息有助于主機(jī)計(jì)算設(shè)備通過可視化指示為用戶提供即時(shí)反饋。

當(dāng)主機(jī)計(jì)算設(shè)備接收到“信號(hào)質(zhì)量”消息時(shí)，它可以在界面中將該信息展示出來。
例如，在 iOS 中，當(dāng)Switch Control光標(biāo)聚焦在某個(gè)元素上時(shí)，系統(tǒng)會(huì)通過動(dòng)畫疊加層來可視化顯示這一信息。

2.BCI 輸入按鈕報(bào)告

該報(bào)告允許 BCI 硬件設(shè)備模擬按鈕的按下與釋放。這些按鈕事件既可以用于發(fā)送基礎(chǔ)系統(tǒng)輸入（例如導(dǎo)航操作或執(zhí)行選擇），也可以用于觸發(fā)與主機(jī)操作系統(tǒng)相關(guān)的高級(jí)系統(tǒng)操作。

主機(jī)計(jì)算設(shè)備可以將這些按鈕事件映射到輔助功能特性（例如 Switch Control），或者映射為各種操作，例如：

• 將當(dāng)前元素標(biāo)記為已選擇

• 導(dǎo)航到下一個(gè)元素

• 導(dǎo)航到上一個(gè)元素

• 或執(zhí)行其他自定義命令

報(bào)告 ID 3：BCI 輸入指針報(bào)告

該報(bào)告的作用是充當(dāng)屏幕上的光標(biāo)，用于諸如Switch Control等功能。它可以是二維（2D）或三維（3D）指針。

vision pro設(shè)備可以利用這些信息來：

• 移動(dòng)屏幕上的光標(biāo)

• 在主機(jī)支持的情況下，以絕對(duì)坐標(biāo)方式控制“點(diǎn)掃描器（point scanner）”

在 iOS、iPadOS 和 visionOS 中，Switch Control支持這種模式，并通過滑動(dòng)光標(biāo)（gliding cursor）來實(shí)現(xiàn)。
這使得 BCI 設(shè)備可以手動(dòng)控制指針。

報(bào)告 ID 4：BCI 輸入項(xiàng)目選擇報(bào)告

該報(bào)告允許 BCI 硬件設(shè)備直接影響無障礙功能中的元素選擇（例如 Switch Control）。

通過發(fā)送一個(gè)特定的itemIndex（項(xiàng)目索引），BCI 硬件設(shè)備可以指示主機(jī)計(jì)算設(shè)備激活某一個(gè)特定的 UI 元素。

BCI 硬件設(shè)備可以通過觀察與“項(xiàng)目選擇”相關(guān)的輸出報(bào)告（output reports），來理解當(dāng)前的 UI 上下文，從而判斷應(yīng)該選擇哪一個(gè)項(xiàng)目。

報(bào)告 ID 4：BCI 輸出掃描信息報(bào)告

該報(bào)告允許主機(jī)計(jì)算設(shè)備（例如啟用了Switch Control的 iPhone）向 BCI 硬件設(shè)備提供反饋與上下文信息，說明當(dāng)前基于時(shí)間間隔的順序?qū)Ш竭^程的狀態(tài)，這種過程也被稱為開關(guān)掃描模式（switch scanning mode）。

BCI 硬件設(shè)備可以利用這些信息來：

• 理解當(dāng)前掃描循環(huán)的上下文（例如：可選項(xiàng)目數(shù)量、控件類型）

• 通過BCI 輸入項(xiàng)目選擇報(bào)告（Report ID 4）來選擇項(xiàng)目

• 根據(jù)當(dāng)前被聚焦的項(xiàng)目，動(dòng)態(tài)調(diào)整自身行為

以上就是本次的5個(gè)接口報(bào)告，我們就可以構(gòu)建vision Pro再BCI接口上的選中操作，從而讓用戶完成空間快捷操作。

如下是腦機(jī)接口的SSVEP范式

最后通過vision Pro的BCI接口，可以實(shí)現(xiàn)意圖識(shí)別，通過腦電選中具體的UI界面與元素，而不需要再單獨(dú)去讓腦電信號(hào)轉(zhuǎn)化為鼠標(biāo)與鍵盤，從而得到意圖識(shí)別的信號(hào)。而在vision OS里面給了具體UI的對(duì)象名稱，不需要再轉(zhuǎn)化為鼠標(biāo)與鍵盤，比如下面的各自元素，在vision OS系統(tǒng)里知道每個(gè)元素的序號(hào)，用戶只需要查看到每個(gè)元素，visionOS官方接口會(huì)將其選擇的按鈕元素對(duì)應(yīng)的序號(hào)給到開發(fā)者，開發(fā)者再和腦機(jī)BCI信號(hào)匹配。

用戶想選什么對(duì)象元素，正確了，才會(huì)展示對(duì)應(yīng)的元素

總結(jié)來說，這就是vision OS與安卓XR可以提供的能力，將其用戶意圖來完成系統(tǒng)化轉(zhuǎn)化。

傳統(tǒng)：射線/凝視點(diǎn)（X,Y） → 對(duì)準(zhǔn)按鈕 → 點(diǎn)擊

現(xiàn)在：直接發(fā)送對(duì)應(yīng)UI元素的 itemIndex = k

這對(duì)腦機(jī)接口產(chǎn)品經(jīng)理是革命性的，在交互層面上更加體驗(yàn)人類意念與數(shù)字世界的真實(shí)聯(lián)動(dòng)，畢竟在真實(shí)世界里，我們也是看中那個(gè)按鈕再用肢體去選中。

一句話總結(jié)

過去是：

腦機(jī)接口在模仿手

現(xiàn)在是：

腦機(jī)接口在表達(dá)意圖

這就是革命性所在。

題圖來自 Unsplash ，基于 CC0 協(xié)議， 如有侵權(quán)，請(qǐng)聯(lián)系pmtalk123刪除

“分享產(chǎn)品經(jīng)理改變世界的點(diǎn)滴”

產(chǎn)品顧問｜ 產(chǎn)品咨詢｜培訓(xùn)合作

請(qǐng)?zhí)砑游⑿?strong>PMxiaowanzi

最近我的原創(chuàng)

每日案例拆解庫(kù)，AI等產(chǎn)品打卡群

我創(chuàng)建的產(chǎn)品設(shè)計(jì)打卡社群，加入后365天，每天體驗(yàn)一款A(yù)PP。提升產(chǎn)品設(shè)計(jì)能力，同時(shí)有1300份體驗(yàn)報(bào)告幫助你找到競(jìng)品

在這里你可以隨時(shí)查詢到你想找的各類競(jìng)品行業(yè)APP，無須自己親自下載就可以馬上得到APP的一手產(chǎn)品優(yōu)化、交互設(shè)計(jì)、功能描述信息。

從優(yōu)化&建議、商業(yè)模式、運(yùn)營(yíng)、功能描述、交互設(shè)計(jì)、產(chǎn)品定位至少6個(gè)維度，體驗(yàn)一款應(yīng)用。

平均1天1塊錢，掃碼購(gòu)買即可加入

連續(xù)體驗(yàn)48款應(yīng)用，通過后原路退回

報(bào)名后添加星球助理

PMTalk123