Varjo宣布Varjo XR-4系列全部支持手跟蹤功能，隨著Varjo Base 4.10軟件的發(fā)布。這一強(qiáng)大的新功能現(xiàn)在作為標(biāo)配免費(fèi)提供！可通過Varjo Base設(shè)置自動啟用。

請注意：手動跟蹤作為一種測試功能。雖然它已經(jīng)實(shí)現(xiàn)了新的可能性，但也有一些已知的限制，包括手勢可靠性和延遲。

與OpenXR應(yīng)用程序無縫集成

集成的手部跟蹤功能適用于定焦和自動對焦功能的XR-4頭顯。用戶現(xiàn)在可以在任何支持手部跟蹤的應(yīng)用中享受身臨其境的交互。具體來說，Varjo實(shí)現(xiàn)了包括對XR EXT hand 跟蹤和XR EXT hand 交互的OpenXR擴(kuò)展。

XR EXT hand _跟蹤支持完全連接26個(gè)手形標(biāo)志，提供詳細(xì)的骨骼跟蹤。

XR EXT hand _交互支持四種直觀的手勢：瞄準(zhǔn)、捏、抓、戳。為了獲得最佳用戶體驗(yàn)，Varjo建議使用應(yīng)用此擴(kuò)展的應(yīng)用程序。

基于攝像頭的跟蹤–不需要額外的硬件

這一新功能是通過利用視頻透視(VST)攝像機(jī)流式傳輸?shù)絏R-4實(shí)現(xiàn)的。這意味著不需要額外的硬件—用戶的手部將直接可在可視區(qū)域內(nèi)被跟蹤。

90 Hz和75 Hz VST模式都支持手部跟蹤，盡管在初始版本中跟蹤幀速率略有降低。(對于使用XR-4 FE的用戶，請注意75 Hz模式提供了略大的垂直視野。)

針對真實(shí)環(huán)境進(jìn)行優(yōu)化

該系統(tǒng)針對典型的辦公室照明條件(200-500勒克斯)進(jìn)行了優(yōu)化。為了實(shí)現(xiàn)最佳性能，請確保環(huán)境光線充足，讓VST相機(jī)捕捉高質(zhì)量的幀。
手部跟蹤獨(dú)立于頭顯的位置跟蹤方法（inside-out跟蹤(IoT)與SteamVR跟蹤）工作。

由機(jī)器學(xué)習(xí)提供支持

該功能的核心部分是在Varjo內(nèi)部訓(xùn)練的機(jī)器學(xué)習(xí)模型。該系統(tǒng)使用以下組合來檢測和映射3D環(huán)境中的手：

• 立體視覺來自耳機(jī)的VST攝像頭。

• 深度數(shù)據(jù)來自內(nèi)置的飛行時(shí)間傳感器

Varjo已經(jīng)通過對來自各種個(gè)人的數(shù)據(jù)（包括年齡、膚色、手的大小和性別）進(jìn)行模型訓(xùn)練，確保了該功能的穩(wěn)定性和包容性。

推算是在CPU上執(zhí)行的，因此高性能處理器將提供更平穩(wěn)的手部跟蹤。（GPU不用于手跟蹤，以區(qū)分用戶應(yīng)用程序的優(yōu)先級）