Meta元宇宙中專利系列介紹(四):基於雷 - 工程師

Queena avatar
By Queena
at 2022-07-18T16:13

Table of Contents

Meta元宇宙中專利系列介紹(四):基於雷達之人工實境追蹤裝置專利

https://bit.ly/3yQEDYk

Meta為打造其元宇宙(Metaverse),開發新技術與各式感應設備,優化各類沉浸式頭戴式
裝置、創造逼真的頭像化身、機器人皮膚,到抓緊人類視覺/聽覺/觸覺之深度探究,去追
蹤監測玩家眼球視線、面部表情、頭部運動、手勢、身體姿態等一舉一動,蒐集這些人體
生物特徵資料,然後產生出與虛擬對象互動之回饋系統,讓玩家能充分沉浸在數位世界中
的虛擬影像與場景環境,而為實現這一目標其已申請一系列的專利。

Meta於2020年9月獲准美國專利「基於雷達之人工實境追蹤裝置、系統和方法」
(Devices, Systems and Methods for Radar-based Artificial Reality Tracking),其
專利案號US 10,782,782,申請日為2019年7月18日,核准日為2020年9月22日(以下稱本
專利),本專利的代表圖如圖一所示,揭露一種人工實境追蹤系統,其包含頭戴式裝置(
圖中標號520)以及固定在手套上的多個轉發器(transponder圖一標號506、508、510、
512與514),其中使用者穿上頭戴式裝置後,可看到虛擬實境內容的呈現,並與之互動。

https://imgur.com/TKmERdd

本專利的技術特徵在於,透過頭戴式裝置上的雷達元件(圖中標號516、518),與多個轉
發器彼此間的無線電波調頻(frequency-modulated)[1] 訊號來回傳遞之距離,可追蹤
該使用者身體在實體環境中的各部位,並透過頭戴式裝置內中的處理器,計算出該使用者
身體的各部位之相對位置與運動的相對速度,然後再根據所計算出當下的相對位置與相對
速度,立刻對應地投射到頭戴式裝置的虛擬實境內容中,而這所有的發生過程都在極短時
間內完成。

根據本專利的內容,可嘗試用一種較淺顯易懂的方式,來重新詮釋艱澀的專利說明書。舉
例來說,當使用者在實體環境中向右擺動自己的頭,同時右手由後向前用力一揮,做出如
網球運動員般的殺球動作,在做這一連串動作的極短時間內,轉發器立即回傳訊號至雷達
元件,告知頭戴式裝置內的處理器後,立即將使用者身體的各部位,在實體環境中運動的
相對位置和相對速度,投影在虛擬實境內容,而虛擬實境內容中的虛擬化身,也立即展現
殺球的姿勢。此外,在這種發明概念下,手套上的轉發器也可固定在其他形式如髮箍、腰
帶、手錶、腕帶等物體上,以便將轉發器上的反射訊號傳遞至雷達元件,進而即時計算出
實體環境中使用者的整體姿勢為何。

更有趣的是,本專利還提到透過頭戴式裝置所投影出的影像,當使用者去觸摸該影像時,
使用者會產生一種手持物體的感知。而這樣的感知是透過手套上的觸覺裝置(haptic
device如下圖二的標號1304)內的機械感測器、壓電感測器,或是流體感測器等感測元件
,而可精準地捕捉手腕、肌腱等肌肉活動,以便追蹤身體的姿勢與感知,讓使用者置身在
VR環境中,猶如現實世界般擬真的沈浸式體驗。

https://imgur.com/RVwEFd5

值得一提的是,關於前述提到的手套,其細部結構可參考圖三,包含觸覺裝置(標號1210
與1220)、紡織材料(標號1230)、振動觸覺元件(標號1240)、電源(標號1250)、處
理器(標號1260),以及通訊介面(標號1280),其中觸覺裝置被嵌入至手套內,用以捕
捉手腕、肌腱等肌肉活動;紡織材料具有彈性,可用以包覆手和手腕;振動觸覺元件被設
置在紡織材料內,並且被用以定位在使用者的手指、拇指和手腕上,以對使用者提供觸覺
反饋,而這樣的觸覺反饋,可包含動態地捕捉使用者的手指彎曲狀態;電源是用以提供振
動觸覺元件與處理器之電力,以啟動振動觸覺元件的運作;處理器係接受電源的啟動後將
透過程式化控制所有的振動觸覺元件的運作;通訊介面則用以接收來自處理器的訊號,並
且輸出其對應的訊號,而可電性耦合到手套外的某一種裝置或系統(標號1270),例如:
行動裝置、遊戲工作台(gaming console)、VR、AR、MR、個人電腦、平板電腦或路由器
之類的裝置或系統。

https://imgur.com/Jq8HGA0

至於本專利中的另一個重點,如圖四,其係一種代表可穿戴式裝置的AR系統示意圖。此AR
系統包含框架(標號902)、攝像機(標號904)、輸出音訊轉換器(audio transducer,
標號908(A)與908(B)),以及輸入音訊轉換器(標號910),其中攝像機用以收集真實環
境中的資訊,輸入音訊轉換器用以捕捉真實環境的聲音,而輸出音訊轉換器根據輸入音訊
轉換器所捕捉到的聲音,而可轉換成音訊回饋/內容至使用者。

https://imgur.com/pb7Zv22

簡言之,本專利的特點,就是透過一可追蹤使用者頭部運動之人工實境的頭戴式裝置,具
有內嵌多個轉發器的手套,以及頭帶可追蹤使用者的頭部運動,並捕捉環境中聲音之音頻
轉換器。此外,本專利透過雷達偵測到手套上所有的轉發器,而該轉發器還可精準地捕捉
手腕、肌腱等肌肉之活動,以追蹤身體姿勢並蒐集身體反應之生物數據。特別值得一提的
,這個專利申請,總共只花了一年多一點的時間就被核准,表示其技術內涵的確具有相當
高之含金量,因此才能在相對短的時間取得。

從本專利可大略一窺Meta對於未來產品的走向,企圖想在虛擬世界中打造一種與現實世界
一模一樣的觸覺感知,好讓使用者戴上手套後,不論是進入AR、VR或是MR等虛擬世界,透
過手指或手掌去觸摸虛擬世界的一個虛擬物體時,使用者彷彿如真實世界碰觸真實物體一
般,手套上的觸覺裝置會突然產生一種阻力感,讓現實中的使用者發生一種觸碰感或按壓
感等方面之感知。

虛擬世界中的觸覺感知科技其實才剛起步,也許對某些「一級玩家」而言,已等不及想要
體驗這種神奇的感受,但可能對另外一群「一級玩家」來說,要戴上佈滿上百個電子元
件 [2] 這麼厚重悶熱的手套來進行遊戲,是否真的能達到完美的沈浸式體驗?這可能還
需要觀察市場的接受度才知道。

在「五感」之中,即聽覺、視覺、觸覺、嗅覺以及味覺,目前,聽覺應該算是相對成熟的
技術,即便在虛擬世界要聽3D立體環繞音效,讓使用者有空間感、方向感也不是難事;視
覺在虛擬世界的進展目前算是尚可,但要達到3D全像影像(holography)[3] 卻還有很長
一段路要走;觸覺正值起步階段;至於嗅覺與味覺現今來看就更是遙不可及了。

倘若要在元宇宙達到如真正實體世界的感受,讓使用者能夠達到近乎100%的沈浸式體驗,
勢必需要完美整合多種的感知。我們試著想像,當未來電影院不再流行時下的2D或3D電影
時,取而代之的是觀眾買了一張「侏羅紀公園」的電影票進入戲院後,觀眾就彷彿置身在
1.4億年前的侏羅紀時代,完美體驗恐龍的嘶吼聲(聽覺)、巨大貌(視覺)、厚實感(
觸覺)、掠食者氣味(嗅覺)等多重感知,營造一種穿越時空之氣氛。不過,要達到這樣
的元宇宙,勢必還有一段很長的路要走,而其中產業的背後,最不可或缺的可能還是半導
體技術與高算力的處理器。

--

All Comments

Yedda avatar
By Yedda
at 2022-07-14T11:56
一級玩家...
Ophelia avatar
By Ophelia
at 2022-07-19T06:39
http://i.imgur.com/pAJIqQR.jpg
Joseph avatar
By Joseph
at 2022-07-14T11:56
講這麼多我就問1106玩的到嗎
Joseph avatar
By Joseph
at 2022-07-19T06:39
阿凡達
David avatar
By David
at 2022-07-14T11:56
有觸感的VR 就是要色色!
Brianna avatar
By Brianna
at 2022-07-19T06:39
我只關心股價什麼時候回三百
Enid avatar
By Enid
at 2022-07-14T11:56
一家想跟全產業對幹的公司不會有好下場 呵呵

請問中磊RF工作狀況

Isla avatar
By Isla
at 2022-07-18T15:14
各位科技板的前輩好 小弟日前收到HR的通知邀約面試 職務是4700 RF工程師/資深工程師(IoT/Camera/Sensor) 想先了解下公司內部狀況跟此職務的工作模式跟loading等等? 不方便公開也可站內信說明 謝謝大家 - ...

台積高雄建廠 料、工又雙漲

Kumar avatar
By Kumar
at 2022-07-18T12:59
新聞標題: 台積高雄建廠 料、工又雙漲 https://imgur.com/74rEqJ2.jpg 伴隨台積電高雄廠8月即將動工,市場再度掀起「料工雙漲」與「缺工搶人」風潮,目前 鋼構原料成本增加2%~11%,且因專業技術工嚴重缺乏,工資水漲船高,包括電焊工、 吊裝工及綁鐵工等,今年工資較去年大增 ...

未來發展迷惘請教

Xanthe avatar
By Xanthe
at 2022-07-18T12:58
大家早,想了一段時間後再來發問 大概想了幾個方向因為不熟再請各位建議。 沒有地緣關係也沒有伴侶 把重心放在工作比較踏實 也覺得自己還年輕,不要後悔想要挑戰一下 暫不考慮輪班,希望未來有下班生活 1. 軟體 刷題,看資料結構和演算法 找間新創或乙方練功 2. 設備商 起薪條件比較好 也可以了解產業 3. ...

矽品精密進駐中科虎尾園區定案 有助雲

Jake avatar
By Jake
at 2022-07-18T11:42
矽品精密進駐中科虎尾園區定案 有助雲林科技產業發展 2022-07-18 10:00 聯合報 記者黃寅/台中即時報導 半導體封測大廠矽品精密有意擴建新廠,在科技部中部科學園區管理局協助解決相關問題後 ,今核准其進駐虎尾園區。矽品預計租地4.5公頃,投資新台幣975億元,預估產能滿載後年 營業額達新台幣35 ...

台積電總裁魏哲家:庫存消化延續到明年上

James avatar
By James
at 2022-07-18T09:45
台積電總裁魏哲家:庫存消化延續到明年上半年 https://ec.ltn.com.tw/article/breakingnews/3992521 〔記者洪友芳/新竹報導〕晶圓代工龍頭廠台積電(2330)今召開法說會,就市場最關注 的庫存問題,總裁魏哲家指出,智慧型手機及個人電腦等消費性電子產品的庫存確實過 ...