5月14日消息，索尼軟件工程師的一份報(bào)告顯示，該公司正在開發(fā)一種高度沉浸式虛擬現(xiàn)實(shí)運(yùn)動(dòng)系統(tǒng)，該系統(tǒng)很可能會(huì)在其下一代PlayStation控制器中使用。

　　索尼互動(dòng)娛樂事業(yè)部的一個(gè)團(tuán)隊(duì)在一篇名為“帶有接近傳感器的手持設(shè)備上的手勢(shì)估計(jì)的機(jī)器學(xué)習(xí)技術(shù)評(píng)估”的論文中說，他們已經(jīng)開發(fā)出一種控制器，該控制器可以精確地復(fù)制玩家手和手指的動(dòng)作。

　　手指跟蹤應(yīng)用程序通常依賴于捕獲手指運(yùn)動(dòng)的相機(jī)，例如Oculus Quest。最近，提供更精確運(yùn)動(dòng)識(shí)別的電容式接近傳感器進(jìn)入市場(chǎng)，但是，正如索尼研究人員有松和幸（Kazuyuki Arimatsu）和森樹秀樹（Hideki Mori）所指出的那樣，由于物理控制器的存在阻礙了攝像機(jī)的檢測(cè)，而仍處于起步階段的接近傳感器技術(shù)需要改進(jìn)和完善，準(zhǔn)確捕捉手的動(dòng)作仍然難以捉摸。

　　Arimatsu和More承擔(dān)了填補(bǔ)這些空白的挑戰(zhàn)，他們構(gòu)建了具有62個(gè)嵌入式電極的原型手控制器，并使用光學(xué)監(jiān)控系統(tǒng)記錄了訓(xùn)練數(shù)據(jù)集。他們捕獲了12位對(duì)象的手的動(dòng)作，每個(gè)對(duì)象的手的大小各不相同。

　　Arimatsu and More說：“我們的目標(biāo)是擴(kuò)大手指跟蹤功能的界限，以便在虛擬空間中使用手進(jìn)行更直觀的交互。我們的方法不僅可以檢測(cè)手指在特定電極上的觸摸，還可以利用所有傳感器的值預(yù)測(cè)3D空間中手指的全面運(yùn)動(dòng)。為實(shí)現(xiàn)這一目標(biāo)，我們?cè)u(píng)估了在計(jì)算機(jī)視覺領(lǐng)域研究的兩種卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，用于姿勢(shì)估計(jì)，并說明了控制器上傳感器的合適架構(gòu)?！?/p>

　　為了獲得逼真的和身臨其境的3D體驗(yàn)，研究人員在上個(gè)月發(fā)布的一份報(bào)告中說，我們應(yīng)用了多維表示法，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的最新成就，將卷積神經(jīng)網(wǎng)絡(luò)方法應(yīng)用于曲面的電容圖像和兩種類型的網(wǎng)絡(luò)體系結(jié)構(gòu)上，我們使用數(shù)據(jù)集評(píng)估了計(jì)算機(jī)視覺領(lǐng)域。我們還使用該原型實(shí)現(xiàn)了實(shí)時(shí)交互應(yīng)用程序，并演示了在VR應(yīng)用程序中使用手指進(jìn)行直觀交互的可能性?！?/p>

　　原型視頻顯示了用戶的手及其數(shù)字表示，這些手勢(shì)做出了各種手勢(shì)，例如打開和關(guān)閉、計(jì)數(shù)、拇指旋轉(zhuǎn)、展開手指、和平標(biāo)志以及伸出的拇指和小指（表示電話），它可以識(shí)別一個(gè)手握住控制器設(shè)備和起吊或投擲的物體。

　　去年，索尼為VR控制器許可了高級(jí)觸覺器，他們將能夠模擬推動(dòng)、拉動(dòng)、抓握和搏動(dòng)的感覺，下一個(gè)索尼控制器很可能會(huì)允許游戲玩家不僅看到他們的手，而且感覺與他們互動(dòng)的各種物體。

　　該團(tuán)隊(duì)表示，這項(xiàng)技術(shù)可以應(yīng)用于游戲以外的領(lǐng)域，例如非語言交流應(yīng)用。