商湯科技:高效低成本的室內(nèi)外精確定位和AR導(dǎo)航已經(jīng)到來(lái)
商湯科技SenseMARS火星混合現(xiàn)實(shí)平臺(tái),以更低成本、更易普及的AI視覺(jué)技術(shù)為核心,以高效低成本的方式實(shí)現(xiàn)室內(nèi)外精準(zhǔn)定位和AR導(dǎo)航。
商湯SenseMARS火星混合現(xiàn)實(shí)平臺(tái)由浙江大學(xué)-商湯科技三維視覺(jué)聯(lián)合實(shí)驗(yàn)室與商湯產(chǎn)品團(tuán)隊(duì)聯(lián)合打造,具備專業(yè)級(jí)高精度三維數(shù)字化地圖構(gòu)建、跨平臺(tái)和終端的空間感知計(jì)算、全場(chǎng)域厘米級(jí)的端云協(xié)同定位等空間定位和構(gòu)建能力,并可支持Android/iOS/Web/小程序等系統(tǒng)平臺(tái),以及手機(jī)、平板電腦、AR/MR眼鏡等多種終端設(shè)備,從而實(shí)現(xiàn)室內(nèi)、室外等不同場(chǎng)景的AR/MR特效、導(dǎo)航和導(dǎo)覽等功能。
雖然,自1967年衛(wèi)星導(dǎo)航技術(shù)開(kāi)放民用以來(lái),經(jīng)過(guò)50多年的發(fā)展,導(dǎo)航定位已經(jīng)廣泛應(yīng)用于交通物流、地理信息、高精度測(cè)量等行業(yè),提高了現(xiàn)代社會(huì)的運(yùn)行效率,給個(gè)人生活和旅行帶來(lái)了極大的便利。導(dǎo)航定位技術(shù)在室外場(chǎng)景中已經(jīng)非常流行,但室內(nèi)導(dǎo)航的應(yīng)用還沒(méi)有得到很好的發(fā)展。
一方面由于衛(wèi)星信號(hào)的衰減,衛(wèi)星導(dǎo)航定位在室內(nèi)幾乎毫無(wú)用武之地。另一方面,盡管基于藍(lán)牙信標(biāo)定位、Wi-Fi信號(hào)等專用設(shè)備的解決方案在一定程度上可以輔助室內(nèi)導(dǎo)航定位,但卻部署和維護(hù)成本高昂,不具備大規(guī)模推廣的條件。
商湯科技SenseMARS火星混合現(xiàn)實(shí)平臺(tái)基于視覺(jué)高精定位的AR導(dǎo)航
室內(nèi)導(dǎo)航的難點(diǎn)在哪里?展覽館、博物館、商場(chǎng)、交通樞紐等大型室內(nèi)場(chǎng)景環(huán)境復(fù)雜,規(guī)模巨大,并存在很多無(wú)紋理空間區(qū)域和視覺(jué)歧義區(qū)域,地圖數(shù)據(jù)的采集、制作及表達(dá)是一大難點(diǎn)。同時(shí),伴隨光照、視點(diǎn)變化,用戶如何精準(zhǔn)快速地實(shí)現(xiàn)重定位也是一項(xiàng)挑戰(zhàn)。
稀疏點(diǎn)云地圖構(gòu)建采用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from Motion,簡(jiǎn)稱SfM)技術(shù)。利用離線采集的視頻或圖片提取場(chǎng)景中的視覺(jué)特征,恢復(fù)圖片的相機(jī)位姿和場(chǎng)景的稀疏三維點(diǎn)云,視覺(jué)特征和三維點(diǎn)云主要用于視覺(jué)重定位,而相機(jī)位姿可用來(lái)做進(jìn)一步的稠密三維幾何構(gòu)建。
稀疏點(diǎn)云地圖
稠密三維點(diǎn)云
以采集的視頻或圖片以及SfM恢復(fù)的相機(jī)位姿為輸入,經(jīng)過(guò)稠密深度估計(jì)、深度融合、網(wǎng)格構(gòu)建和紋理貼圖,最終輸出場(chǎng)景的精細(xì)化稠密點(diǎn)云和帶紋理的三維網(wǎng)格模型,這就是稠密三維幾何構(gòu)建。
得益于商湯在原創(chuàng)技術(shù)研發(fā)上的產(chǎn)學(xué)研優(yōu)勢(shì),浙江大學(xué)-商湯三維視覺(jué)聯(lián)合實(shí)驗(yàn)室研究團(tuán)隊(duì)經(jīng)過(guò)兩年多時(shí)間的技術(shù)攻關(guān)和打磨,提出基于單目/多目/全景相機(jī)、慣性測(cè)量單元、GPS等多源數(shù)據(jù)的采集方案和多源數(shù)據(jù)融合建圖算法,實(shí)現(xiàn)了高效穩(wěn)定的地圖數(shù)據(jù)采集、重建和更新。
2萬(wàn)平米場(chǎng)景一般可在1小時(shí)內(nèi)完成數(shù)據(jù)采集,6個(gè)小時(shí)左右完成三維重建和紋理貼圖(單節(jié)點(diǎn)服務(wù)器上),重建精度可達(dá)厘米級(jí)。
重建的高精度三維網(wǎng)格可以用來(lái)正確處理虛擬物體和真實(shí)場(chǎng)景的遮擋以及碰撞關(guān)系,實(shí)現(xiàn)具有高度真實(shí)感的增強(qiáng)現(xiàn)實(shí)效果。
大規(guī)模3D地圖重建,SenseMARS生成的50萬(wàn)平方米杭州錢(qián)江世紀(jì)城園區(qū)地圖。
高精度三維數(shù)字化模型和紋理貼圖,SenseMARS生成的變壓器三維模型
讓機(jī)器輸出準(zhǔn)確匹配場(chǎng)景
有了地圖數(shù)據(jù)之后,用戶如何透過(guò)終端將導(dǎo)航指示箭頭等虛擬內(nèi)容無(wú)縫融合在現(xiàn)實(shí)場(chǎng)景中?
關(guān)鍵就在于實(shí)時(shí)、準(zhǔn)確地獲取用戶的相機(jī)位姿,由視覺(jué)重定位和SLAM一起來(lái)實(shí)現(xiàn)。
視覺(jué)重定位以用戶拍攝圖像為輸入,將圖像中的特征與地圖數(shù)據(jù)中的特征進(jìn)行匹配,獲取圖像特征點(diǎn)和地圖三維點(diǎn)的2D-3D對(duì)應(yīng)關(guān)系,并計(jì)算圖像相機(jī)位姿,在SLAM過(guò)程中幫助進(jìn)行累積誤差的矯正。
SenseMARS視覺(jué)定位技術(shù)在商超、展館等典型室內(nèi)場(chǎng)景成功率高于95%,結(jié)合SLAM 技術(shù)實(shí)現(xiàn)連續(xù)穩(wěn)定的位姿跟蹤,同時(shí)拓展地圖未覆蓋到的區(qū)域。
SLAM技術(shù)利用相機(jī)、IMU等常見(jiàn)的傳感器信息可以實(shí)時(shí)計(jì)算出當(dāng)前設(shè)備的6DoF位姿,保證圖像上AR效果與真實(shí)環(huán)境的一致性、穩(wěn)定性及貼合性。
再借助離線高精度地圖和高精定位結(jié)果,就可以保證在大尺度場(chǎng)景下長(zhǎng)時(shí)間的高精定位和跟蹤。
此外,針對(duì)目前APP方案比較重且SLAM算法的機(jī)型覆蓋率不足的問(wèn)題,商湯同時(shí)提供了輕量級(jí)的Web SLAM能力,能夠在H5和小程序中實(shí)時(shí)運(yùn)行。
用戶無(wú)需安裝App只需簡(jiǎn)單掃描二維碼,即可體驗(yàn)完整的室內(nèi)外定位和AR導(dǎo)航導(dǎo)覽能力。
基于以上這些技術(shù),商湯SenseMARS平臺(tái)可以支撐多種實(shí)際復(fù)雜場(chǎng)景中的高精度增強(qiáng)/混合現(xiàn)實(shí)需求。在GPS信號(hào)難以覆蓋的區(qū)域,讓用戶可通過(guò)圖像或視頻實(shí)時(shí)準(zhǔn)確地獲取自身位置。
結(jié)合商湯SLAM技術(shù)還能以增強(qiáng)/混合現(xiàn)實(shí)的方式獲取場(chǎng)景的額外信息如導(dǎo)航、導(dǎo)覽、商家介紹等基于位置的內(nèi)容增強(qiáng),切身感受AR與生活場(chǎng)景的巧妙融合。
-
阿特拉斯科普柯重磅推出全新升級(jí)無(wú)油螺桿壓縮機(jī)
-
引領(lǐng)AI變革,九章云極DataCanvas公司重磅發(fā)布AIFS+DataPilot
-
山王果:推進(jìn)數(shù)字化轉(zhuǎn)型 為產(chǎn)業(yè)加裝“助推器”
-
營(yíng)銷(xiāo)時(shí)代 推廣就現(xiàn)在 河南教育培訓(xùn)平臺(tái)通過(guò)ChatGPT中國(guó)方正助力中小企業(yè)經(jīng)濟(jì)復(fù)蘇
-
案例賞析 | 新疆喀什:“大型充電寶”扎根戈壁,讓新能源供電更穩(wěn)定
-
新文藝群體書(shū)畫(huà)家工委會(huì)副主任王鳳岐風(fēng)采
-
陜西鋼材一手貨源---眾唐鋼材批發(fā)市場(chǎng)一件也是批發(fā)價(jià)
-
錫山區(qū)鵝湖鎮(zhèn)專業(yè)疏通下水道、環(huán)衛(wèi)抽糞卓通環(huán)保工程有限公司
-
藍(lán)小象快裝服務(wù)材料介紹石晶仿瓷板電話
-
南京Java學(xué)習(xí)首選:動(dòng)力節(jié)點(diǎn)南京校區(qū),你不容錯(cuò)過(guò)!
-
重慶病人出院轉(zhuǎn)院選擇正規(guī)潤(rùn)興救護(hù)車(chē)轉(zhuǎn)運(yùn)服務(wù)機(jī)構(gòu)
-
高效穩(wěn)定的網(wǎng)絡(luò)傳輸利器-思科C9200L交換機(jī)的詳細(xì)介紹
-
造船行業(yè)的“得力助手”—使用30噸扁平吊裝帶提升吊裝生產(chǎn)力