AI生成可即時編輯的真實3D場景 - 工程師

AI生成可即時編輯的真實3D場景

https://bit.ly/3OXcBB0

未來，AI模型很快就能在筆記型電腦上讓人們可以即時創建或是編輯近乎真實感的3D場景
，有望幫助藝術家在從事遊戲或是電影中電腦產出影像(CGI)的工作，或是創建出超現實
的虛擬化身。

過去AI生成逼真的2D圖像已經有一段時間了，但3D的場景因需要更強大運算能力，因此更
棘手。加州史丹佛大學的研究人員開發的AI模型─EG3D，可以快速生成高解析度且以幾何
圖型結構為基礎的人臉或是其他物體的隨機圖像，並且在筆記型電腦上即時運行。

這是第一批能夠實現接近「照相寫實主義 (photorealism)」渲染品質的3D模型。EG3D透
過使用了一種稱為「生成對抗網路(generative adversarial network，GAN)」的機器學
習技術來生成圖像。該系統將兩個神經網絡相互對抗，使用了其中一個神經網絡來產生圖
像，而另一個神經網絡則用來判斷它們的準確性，並多次重覆這個過程，最終呈現出非常
真實的結果。

研究團隊使用現有高解析度的2D GANs的特點，並添加了另一個零件將這些圖像轉換成3D
的圖型。一次解決了運計算效率及現有架構向下相容性(backward compatibility)的問題
。雖然目前EG3D的模型可以生成近乎照片寫實主義的3D圖像，但較難在設計軟體中進行編
輯，且GAN是如何生成逼真的3D圖像還是個謎。

威斯康辛大學麥迪遜分校的研究人員開發了一個稱為GiraffeHD的機器學習模型，該模型
提取可以操縱3D圖像的特徵，並提供EG3D模型修正的協助。透過GiraffeHD模型可以控制
想像的類型樣式來生成想要的圖像。目前該模型在數百萬個特定類型的圖像上進行訓練，
並找出圖像中與各類別對應的隱藏特徵，包含物品的形狀、顏色或是照相機的角度等潛在
的因素。

這些可控制的特徵最終可以用於編輯3D生成的圖像，讓使用者可以在想要的場景自行編輯
精確的特徵。目前該兩種技術在更廣泛的應用及演算法偏差方面年還有需要加強的問題。
該研究發表在Computer Vision and Pattern Recognition研討會。

--