Meta元宇宙中專利系列介紹(四):基於雷 - 工程師
By Queena
at 2022-07-18T16:13
at 2022-07-18T16:13
Table of Contents
Meta元宇宙中專利系列介紹(四):基於雷達之人工實境追蹤裝置專利
https://bit.ly/3yQEDYk
Meta為打造其元宇宙(Metaverse),開發新技術與各式感應設備,優化各類沉浸式頭戴式
裝置、創造逼真的頭像化身、機器人皮膚,到抓緊人類視覺/聽覺/觸覺之深度探究,去追
蹤監測玩家眼球視線、面部表情、頭部運動、手勢、身體姿態等一舉一動,蒐集這些人體
生物特徵資料,然後產生出與虛擬對象互動之回饋系統,讓玩家能充分沉浸在數位世界中
的虛擬影像與場景環境,而為實現這一目標其已申請一系列的專利。
Meta於2020年9月獲准美國專利「基於雷達之人工實境追蹤裝置、系統和方法」
(Devices, Systems and Methods for Radar-based Artificial Reality Tracking),其
專利案號US 10,782,782,申請日為2019年7月18日,核准日為2020年9月22日(以下稱本
專利),本專利的代表圖如圖一所示,揭露一種人工實境追蹤系統,其包含頭戴式裝置(
圖中標號520)以及固定在手套上的多個轉發器(transponder圖一標號506、508、510、
512與514),其中使用者穿上頭戴式裝置後,可看到虛擬實境內容的呈現,並與之互動。
https://imgur.com/TKmERdd
本專利的技術特徵在於,透過頭戴式裝置上的雷達元件(圖中標號516、518),與多個轉
發器彼此間的無線電波調頻(frequency-modulated)[1] 訊號來回傳遞之距離,可追蹤
該使用者身體在實體環境中的各部位,並透過頭戴式裝置內中的處理器,計算出該使用者
身體的各部位之相對位置與運動的相對速度,然後再根據所計算出當下的相對位置與相對
速度,立刻對應地投射到頭戴式裝置的虛擬實境內容中,而這所有的發生過程都在極短時
間內完成。
根據本專利的內容,可嘗試用一種較淺顯易懂的方式,來重新詮釋艱澀的專利說明書。舉
例來說,當使用者在實體環境中向右擺動自己的頭,同時右手由後向前用力一揮,做出如
網球運動員般的殺球動作,在做這一連串動作的極短時間內,轉發器立即回傳訊號至雷達
元件,告知頭戴式裝置內的處理器後,立即將使用者身體的各部位,在實體環境中運動的
相對位置和相對速度,投影在虛擬實境內容,而虛擬實境內容中的虛擬化身,也立即展現
殺球的姿勢。此外,在這種發明概念下,手套上的轉發器也可固定在其他形式如髮箍、腰
帶、手錶、腕帶等物體上,以便將轉發器上的反射訊號傳遞至雷達元件,進而即時計算出
實體環境中使用者的整體姿勢為何。
更有趣的是,本專利還提到透過頭戴式裝置所投影出的影像,當使用者去觸摸該影像時,
使用者會產生一種手持物體的感知。而這樣的感知是透過手套上的觸覺裝置(haptic
device如下圖二的標號1304)內的機械感測器、壓電感測器,或是流體感測器等感測元件
,而可精準地捕捉手腕、肌腱等肌肉活動,以便追蹤身體的姿勢與感知,讓使用者置身在
VR環境中,猶如現實世界般擬真的沈浸式體驗。
https://imgur.com/RVwEFd5
值得一提的是,關於前述提到的手套,其細部結構可參考圖三,包含觸覺裝置(標號1210
與1220)、紡織材料(標號1230)、振動觸覺元件(標號1240)、電源(標號1250)、處
理器(標號1260),以及通訊介面(標號1280),其中觸覺裝置被嵌入至手套內,用以捕
捉手腕、肌腱等肌肉活動;紡織材料具有彈性,可用以包覆手和手腕;振動觸覺元件被設
置在紡織材料內,並且被用以定位在使用者的手指、拇指和手腕上,以對使用者提供觸覺
反饋,而這樣的觸覺反饋,可包含動態地捕捉使用者的手指彎曲狀態;電源是用以提供振
動觸覺元件與處理器之電力,以啟動振動觸覺元件的運作;處理器係接受電源的啟動後將
透過程式化控制所有的振動觸覺元件的運作;通訊介面則用以接收來自處理器的訊號,並
且輸出其對應的訊號,而可電性耦合到手套外的某一種裝置或系統(標號1270),例如:
行動裝置、遊戲工作台(gaming console)、VR、AR、MR、個人電腦、平板電腦或路由器
之類的裝置或系統。
https://imgur.com/Jq8HGA0
至於本專利中的另一個重點,如圖四,其係一種代表可穿戴式裝置的AR系統示意圖。此AR
系統包含框架(標號902)、攝像機(標號904)、輸出音訊轉換器(audio transducer,
標號908(A)與908(B)),以及輸入音訊轉換器(標號910),其中攝像機用以收集真實環
境中的資訊,輸入音訊轉換器用以捕捉真實環境的聲音,而輸出音訊轉換器根據輸入音訊
轉換器所捕捉到的聲音,而可轉換成音訊回饋/內容至使用者。
https://imgur.com/pb7Zv22
簡言之,本專利的特點,就是透過一可追蹤使用者頭部運動之人工實境的頭戴式裝置,具
有內嵌多個轉發器的手套,以及頭帶可追蹤使用者的頭部運動,並捕捉環境中聲音之音頻
轉換器。此外,本專利透過雷達偵測到手套上所有的轉發器,而該轉發器還可精準地捕捉
手腕、肌腱等肌肉之活動,以追蹤身體姿勢並蒐集身體反應之生物數據。特別值得一提的
,這個專利申請,總共只花了一年多一點的時間就被核准,表示其技術內涵的確具有相當
高之含金量,因此才能在相對短的時間取得。
從本專利可大略一窺Meta對於未來產品的走向,企圖想在虛擬世界中打造一種與現實世界
一模一樣的觸覺感知,好讓使用者戴上手套後,不論是進入AR、VR或是MR等虛擬世界,透
過手指或手掌去觸摸虛擬世界的一個虛擬物體時,使用者彷彿如真實世界碰觸真實物體一
般,手套上的觸覺裝置會突然產生一種阻力感,讓現實中的使用者發生一種觸碰感或按壓
感等方面之感知。
虛擬世界中的觸覺感知科技其實才剛起步,也許對某些「一級玩家」而言,已等不及想要
體驗這種神奇的感受,但可能對另外一群「一級玩家」來說,要戴上佈滿上百個電子元
件 [2] 這麼厚重悶熱的手套來進行遊戲,是否真的能達到完美的沈浸式體驗?這可能還
需要觀察市場的接受度才知道。
在「五感」之中,即聽覺、視覺、觸覺、嗅覺以及味覺,目前,聽覺應該算是相對成熟的
技術,即便在虛擬世界要聽3D立體環繞音效,讓使用者有空間感、方向感也不是難事;視
覺在虛擬世界的進展目前算是尚可,但要達到3D全像影像(holography)[3] 卻還有很長
一段路要走;觸覺正值起步階段;至於嗅覺與味覺現今來看就更是遙不可及了。
倘若要在元宇宙達到如真正實體世界的感受,讓使用者能夠達到近乎100%的沈浸式體驗,
勢必需要完美整合多種的感知。我們試著想像,當未來電影院不再流行時下的2D或3D電影
時,取而代之的是觀眾買了一張「侏羅紀公園」的電影票進入戲院後,觀眾就彷彿置身在
1.4億年前的侏羅紀時代,完美體驗恐龍的嘶吼聲(聽覺)、巨大貌(視覺)、厚實感(
觸覺)、掠食者氣味(嗅覺)等多重感知,營造一種穿越時空之氣氛。不過,要達到這樣
的元宇宙,勢必還有一段很長的路要走,而其中產業的背後,最不可或缺的可能還是半導
體技術與高算力的處理器。
--
https://bit.ly/3yQEDYk
Meta為打造其元宇宙(Metaverse),開發新技術與各式感應設備,優化各類沉浸式頭戴式
裝置、創造逼真的頭像化身、機器人皮膚,到抓緊人類視覺/聽覺/觸覺之深度探究,去追
蹤監測玩家眼球視線、面部表情、頭部運動、手勢、身體姿態等一舉一動,蒐集這些人體
生物特徵資料,然後產生出與虛擬對象互動之回饋系統,讓玩家能充分沉浸在數位世界中
的虛擬影像與場景環境,而為實現這一目標其已申請一系列的專利。
Meta於2020年9月獲准美國專利「基於雷達之人工實境追蹤裝置、系統和方法」
(Devices, Systems and Methods for Radar-based Artificial Reality Tracking),其
專利案號US 10,782,782,申請日為2019年7月18日,核准日為2020年9月22日(以下稱本
專利),本專利的代表圖如圖一所示,揭露一種人工實境追蹤系統,其包含頭戴式裝置(
圖中標號520)以及固定在手套上的多個轉發器(transponder圖一標號506、508、510、
512與514),其中使用者穿上頭戴式裝置後,可看到虛擬實境內容的呈現,並與之互動。
https://imgur.com/TKmERdd
本專利的技術特徵在於,透過頭戴式裝置上的雷達元件(圖中標號516、518),與多個轉
發器彼此間的無線電波調頻(frequency-modulated)[1] 訊號來回傳遞之距離,可追蹤
該使用者身體在實體環境中的各部位,並透過頭戴式裝置內中的處理器,計算出該使用者
身體的各部位之相對位置與運動的相對速度,然後再根據所計算出當下的相對位置與相對
速度,立刻對應地投射到頭戴式裝置的虛擬實境內容中,而這所有的發生過程都在極短時
間內完成。
根據本專利的內容,可嘗試用一種較淺顯易懂的方式,來重新詮釋艱澀的專利說明書。舉
例來說,當使用者在實體環境中向右擺動自己的頭,同時右手由後向前用力一揮,做出如
網球運動員般的殺球動作,在做這一連串動作的極短時間內,轉發器立即回傳訊號至雷達
元件,告知頭戴式裝置內的處理器後,立即將使用者身體的各部位,在實體環境中運動的
相對位置和相對速度,投影在虛擬實境內容,而虛擬實境內容中的虛擬化身,也立即展現
殺球的姿勢。此外,在這種發明概念下,手套上的轉發器也可固定在其他形式如髮箍、腰
帶、手錶、腕帶等物體上,以便將轉發器上的反射訊號傳遞至雷達元件,進而即時計算出
實體環境中使用者的整體姿勢為何。
更有趣的是,本專利還提到透過頭戴式裝置所投影出的影像,當使用者去觸摸該影像時,
使用者會產生一種手持物體的感知。而這樣的感知是透過手套上的觸覺裝置(haptic
device如下圖二的標號1304)內的機械感測器、壓電感測器,或是流體感測器等感測元件
,而可精準地捕捉手腕、肌腱等肌肉活動,以便追蹤身體的姿勢與感知,讓使用者置身在
VR環境中,猶如現實世界般擬真的沈浸式體驗。
https://imgur.com/RVwEFd5
值得一提的是,關於前述提到的手套,其細部結構可參考圖三,包含觸覺裝置(標號1210
與1220)、紡織材料(標號1230)、振動觸覺元件(標號1240)、電源(標號1250)、處
理器(標號1260),以及通訊介面(標號1280),其中觸覺裝置被嵌入至手套內,用以捕
捉手腕、肌腱等肌肉活動;紡織材料具有彈性,可用以包覆手和手腕;振動觸覺元件被設
置在紡織材料內,並且被用以定位在使用者的手指、拇指和手腕上,以對使用者提供觸覺
反饋,而這樣的觸覺反饋,可包含動態地捕捉使用者的手指彎曲狀態;電源是用以提供振
動觸覺元件與處理器之電力,以啟動振動觸覺元件的運作;處理器係接受電源的啟動後將
透過程式化控制所有的振動觸覺元件的運作;通訊介面則用以接收來自處理器的訊號,並
且輸出其對應的訊號,而可電性耦合到手套外的某一種裝置或系統(標號1270),例如:
行動裝置、遊戲工作台(gaming console)、VR、AR、MR、個人電腦、平板電腦或路由器
之類的裝置或系統。
https://imgur.com/Jq8HGA0
至於本專利中的另一個重點,如圖四,其係一種代表可穿戴式裝置的AR系統示意圖。此AR
系統包含框架(標號902)、攝像機(標號904)、輸出音訊轉換器(audio transducer,
標號908(A)與908(B)),以及輸入音訊轉換器(標號910),其中攝像機用以收集真實環
境中的資訊,輸入音訊轉換器用以捕捉真實環境的聲音,而輸出音訊轉換器根據輸入音訊
轉換器所捕捉到的聲音,而可轉換成音訊回饋/內容至使用者。
https://imgur.com/pb7Zv22
簡言之,本專利的特點,就是透過一可追蹤使用者頭部運動之人工實境的頭戴式裝置,具
有內嵌多個轉發器的手套,以及頭帶可追蹤使用者的頭部運動,並捕捉環境中聲音之音頻
轉換器。此外,本專利透過雷達偵測到手套上所有的轉發器,而該轉發器還可精準地捕捉
手腕、肌腱等肌肉之活動,以追蹤身體姿勢並蒐集身體反應之生物數據。特別值得一提的
,這個專利申請,總共只花了一年多一點的時間就被核准,表示其技術內涵的確具有相當
高之含金量,因此才能在相對短的時間取得。
從本專利可大略一窺Meta對於未來產品的走向,企圖想在虛擬世界中打造一種與現實世界
一模一樣的觸覺感知,好讓使用者戴上手套後,不論是進入AR、VR或是MR等虛擬世界,透
過手指或手掌去觸摸虛擬世界的一個虛擬物體時,使用者彷彿如真實世界碰觸真實物體一
般,手套上的觸覺裝置會突然產生一種阻力感,讓現實中的使用者發生一種觸碰感或按壓
感等方面之感知。
虛擬世界中的觸覺感知科技其實才剛起步,也許對某些「一級玩家」而言,已等不及想要
體驗這種神奇的感受,但可能對另外一群「一級玩家」來說,要戴上佈滿上百個電子元
件 [2] 這麼厚重悶熱的手套來進行遊戲,是否真的能達到完美的沈浸式體驗?這可能還
需要觀察市場的接受度才知道。
在「五感」之中,即聽覺、視覺、觸覺、嗅覺以及味覺,目前,聽覺應該算是相對成熟的
技術,即便在虛擬世界要聽3D立體環繞音效,讓使用者有空間感、方向感也不是難事;視
覺在虛擬世界的進展目前算是尚可,但要達到3D全像影像(holography)[3] 卻還有很長
一段路要走;觸覺正值起步階段;至於嗅覺與味覺現今來看就更是遙不可及了。
倘若要在元宇宙達到如真正實體世界的感受,讓使用者能夠達到近乎100%的沈浸式體驗,
勢必需要完美整合多種的感知。我們試著想像,當未來電影院不再流行時下的2D或3D電影
時,取而代之的是觀眾買了一張「侏羅紀公園」的電影票進入戲院後,觀眾就彷彿置身在
1.4億年前的侏羅紀時代,完美體驗恐龍的嘶吼聲(聽覺)、巨大貌(視覺)、厚實感(
觸覺)、掠食者氣味(嗅覺)等多重感知,營造一種穿越時空之氣氛。不過,要達到這樣
的元宇宙,勢必還有一段很長的路要走,而其中產業的背後,最不可或缺的可能還是半導
體技術與高算力的處理器。
--
Tags:
工程師
All Comments
By Yedda
at 2022-07-14T11:56
at 2022-07-14T11:56
By Ophelia
at 2022-07-19T06:39
at 2022-07-19T06:39
By Joseph
at 2022-07-14T11:56
at 2022-07-14T11:56
By Joseph
at 2022-07-19T06:39
at 2022-07-19T06:39
By David
at 2022-07-14T11:56
at 2022-07-14T11:56
By Brianna
at 2022-07-19T06:39
at 2022-07-19T06:39
By Enid
at 2022-07-14T11:56
at 2022-07-14T11:56
Related Posts
請問中磊RF工作狀況
By Isla
at 2022-07-18T15:14
at 2022-07-18T15:14
台積高雄建廠 料、工又雙漲
By Kumar
at 2022-07-18T12:59
at 2022-07-18T12:59
未來發展迷惘請教
By Xanthe
at 2022-07-18T12:58
at 2022-07-18T12:58
矽品精密進駐中科虎尾園區定案 有助雲
By Jake
at 2022-07-18T11:42
at 2022-07-18T11:42
台積電總裁魏哲家:庫存消化延續到明年上
By James
at 2022-07-18T09:45
at 2022-07-18T09:45