英國(guó)格拉斯哥大學(xué)研發(fā)1000fps刷新率單光源3D傳感方案
市面上用傳感器測(cè)量距離有多種方式,比如稀疏光子成像、非視距成像(NLOS)等。不管是基于超聲波傳感還是紅外線傳感,他們的相似之處在于都是通過(guò)計(jì)算聲波或光波到達(dá)某一表面并反射回來(lái)的時(shí)間來(lái)推算距離。
通常,基于光學(xué)傳感的3D掃描需要兩個(gè)或以上個(gè)攝像頭,以捕捉跟合成人眼雙目視差效果。或是通過(guò)光源陣列和多個(gè)單一的光傳感器來(lái)對(duì)空間中的物體進(jìn)行3D識(shí)別和重建。
近期,英國(guó)格拉斯哥大學(xué)的科研人員提出了一種結(jié)合深度學(xué)習(xí)算法的低成本SPAD傳感方案。它的特點(diǎn)是只需要單一光源和傳感器,就能通過(guò)光線從場(chǎng)景反射回來(lái)的時(shí)間來(lái)進(jìn)行3D測(cè)距。據(jù)悉,該方案的平均誤差僅為四分之一納秒,而且最遠(yuǎn)可識(shí)別4米內(nèi)的物體,刷新率高達(dá)1000fps。
專(zhuān)家表示:通常光子到達(dá)3米遠(yuǎn)處任何表面并反射回來(lái)平均需要10納秒,但這個(gè)時(shí)間并不能直接反映出該表面的方向和角度。
而格拉斯哥大學(xué)科研人員在實(shí)驗(yàn)初期進(jìn)行測(cè)距時(shí),獲得的圖像雖然比普通ToF攝像頭的要更模糊、缺少細(xì)節(jié),但外觀輪廓比較清楚。接著,他們利用在同一場(chǎng)景訓(xùn)練的神經(jīng)網(wǎng)絡(luò),來(lái)破解和優(yōu)化3D掃描信號(hào)。
具體來(lái)講,該方案分為三個(gè)部分:1)脈沖光源;2)單點(diǎn)時(shí)間識(shí)別傳感器;3)圖像重建算法??蒲腥藛T在場(chǎng)景中用單一方向的脈沖激光源進(jìn)行照射,接著單光子雪崩二極管(SPAD)將收集這些反射回的光線,并生成時(shí)間柱狀圖。然后,在使用人工神經(jīng)網(wǎng)絡(luò)來(lái)通過(guò)單一的時(shí)間柱狀圖識(shí)別和重建3D場(chǎng)景。
在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程中,科研人員將使用脈沖光源、ToF模組、SPAD傳感器,對(duì)空間中移動(dòng)的人進(jìn)行動(dòng)態(tài)掃描。通過(guò)對(duì)比ToF模組識(shí)別到的3D數(shù)據(jù)和SPAD傳感數(shù)據(jù)重建的圖像,來(lái)完成對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。
為了驗(yàn)證效果,科研人員首先通過(guò)數(shù)字模擬來(lái)進(jìn)行分析。在一個(gè)20立方米空間,用類(lèi)似于人形的物體擺出多種不同的姿勢(shì),并利用時(shí)間測(cè)量法來(lái)重建3D圖像和時(shí)間柱狀圖。同時(shí),也使用同步的ToF模組(也可以用LiDAR、立體成像或全息裝置)來(lái)收集對(duì)比數(shù)據(jù)。
結(jié)果顯示,通過(guò)SPAD方案重建的3D圖像比ToF方案缺少一些細(xì)節(jié),但整體輪廓得以體現(xiàn)。接著,科研人員通過(guò)重復(fù)用時(shí)間柱狀圖重建,來(lái)進(jìn)一步分析脈沖響應(yīng)函數(shù)(IRF)對(duì)3D圖像分辨率的影響。結(jié)果發(fā)現(xiàn),IRF響應(yīng)時(shí)間變長(zhǎng),場(chǎng)景中3D圖像的輪廓也依然可以分辨。
不過(guò)也發(fā)現(xiàn),該方案將依賴(lài)于在特定場(chǎng)景中訓(xùn)練過(guò)的神經(jīng)算法。也就是說(shuō),科研人員所訓(xùn)練的神經(jīng)網(wǎng)絡(luò)僅識(shí)別特定的靜態(tài)背景,同樣的物體或人物在其他背景中則不再識(shí)別。
由于在實(shí)驗(yàn)中,算法訓(xùn)練使用到的均為動(dòng)態(tài)背景中移動(dòng)的物體,所以目前只適合掃描設(shè)備固定在靜態(tài)背景中運(yùn)行。盡管如此,這一方案的優(yōu)勢(shì)在于刷新率高,可用于自動(dòng)駕駛、基于筆記本電腦攝像頭和無(wú)線電天線的實(shí)時(shí)3D監(jiān)控或是AR測(cè)距等場(chǎng)景。
此外,SPAD方案重建的圖像分辨率受訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)所使用的3D傳感器局限,而且圖像質(zhì)量受到時(shí)間測(cè)距傳感器的刷新率決定。
未來(lái),科研人員計(jì)劃繼續(xù)訓(xùn)練神經(jīng)網(wǎng)絡(luò),以便于識(shí)別動(dòng)態(tài)空間背景,同時(shí)也計(jì)劃向非視距成像(NLOS)領(lǐng)域延伸。