近日， ECCV'24在意大利米蘭如期舉辦。在本次大會上，華為云技術創新部-媒體創新Lab和上海交通大學星空人工智能研究院合作發表論文《Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture》！
論文提出首個基于三維高斯潑濺的自動動態人臉幾何和紋理重建框架，能夠直接從多視角視頻中重建拓撲一致的幾何表面和包含毛孔級細節的動態8K紋理貼圖，無需人工操作，加速傳統流程數十倍。
ECCV全稱為European Conference on Computer Vision（歐洲計算機視覺國際會議），是計算機視覺領域中最重要和最具影響力的國際會議之一，與ICCV（國際計算機視覺大會）和CVPR（計算機視覺與模式識別會議）并稱為計算機視覺領域的“三大頂會”。ECCV每兩年舉辦一次，本屆會議共收到12000余篇投稿，有2395篇文章被接收，錄用率僅19.96%。
4D人臉重建旨在從視頻中生成動態拓撲網格和相應的紋理貼圖，由于其能夠模擬真實的面部肌肉抖動、毛孔擠壓和褶皺，被廣泛用于電影、游戲等產業。當前業界常用的傳統方法大多基于多目立體視覺和非剛性配準技術，這種方法易于出錯且需要專業藝術家耗費大量時間進行手工修飾。現有的基于深度學習的方法大多需要大量昂貴的數據用于訓練，難以擴展到新的拍攝系統和訓練集中未出現的表情，且幀間一致性較差。
為了解決上述問題，本文提出了Topo4D，在跟蹤動態三維高斯運動的同時保持穩定的拓撲關系，實現快速的高質量動態人臉重建。
▲Topo4D論文介紹，方法能夠生成高保真幾何和紋理，同時支持重打光和重定向應用
Topo4D提出了高斯網格（Gaussian Mesh），通過將高斯點綁定到網格頂點將三維人臉表示為一組具有固定拓撲關系的動態三維高斯點集，并在每一幀執行交替幾何和紋理優化實現高質量的幾何和紋理學習。
為了在優化三維高斯的同時保持穩定的拓撲和良好的布線，Topo4D利用一組基于物理先驗的損失建模高斯點的三維運動，實現了長距離頂點跟蹤。除此之外，Topo4D還借助基于拓撲先驗的損失從高斯點集中提取高質量網格。
為了學習真實的毛孔級紋理顏色，并從高斯點集中生成高分辨率紋理貼圖。Topo4D提出了UV空間稠密化方法，在不打破預定義的拓撲和UV關系的情況下建立稠密高斯網格，將真實稠密紋理顏色正確映射到UV貼圖空間中。
▲Topo4D框架示意圖
大量的實驗表明，Topo4D在網格和紋理質量方面都優于現有的三維人臉重建方法，同時具有更好的可擴展性、可泛化性和時間一致性。加速了傳統方法數十倍且無需人工操作。
華為云媒體創新Lab與國內外頂尖高校建立合作關系，致力于研發基于下一代計算與顯示平臺的4D Avatar技術，已深度開展基于三維高斯潑濺的數字人及AIG3D等相關領域的創新性研究。具體研究方向除本論文涉及的高質量動態人臉重建外，還包括多模態控制的數字人動作驅動，數字人屬性編輯，和高保真數字人重打光等。該方向的研究成果后續將被應用在XR眼鏡、裸眼3D等前沿設備上，為用戶帶來更真實的虛擬交互體驗。
星空人工智能技術網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯系方式等發郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > AI美學 » 首個基于3DGS的高質量動態人臉重建！華為云論文在頂會ECCV'24發布
華為云張宇昕：云原生與AI將激發七大