NVIDIA開源Audio2Face模型及SDK

9月25日，NVIDIA將開源Audio2Face模型與SDK，讓所有遊戲和3D應用開發者都可以構建並部署帶有先進動畫的高精度角色。NVIDIA將開源Audio2Face的訓練框架，任何人都可以針對特定用例對現有模型進行微調與定製。

NVIDIA Audio2Face通過生成式AI驅動的實時面部動畫與嘴形同步，加速寫實數字角色的創作流程。Audio2Face利用AI根據音頻輸入生成逼真的面部動畫。這項技術通過分析音素、語調等聲學特徵，創建動畫數據流，並映射至角色的面部表情。這些動畫數據既可用於離線渲染預設的資產，也可實時傳輸到動態的、由AI驅動的角色，實現準確的嘴形同步與情感表達。

Audio2Face模型已廣泛應用於遊戲、媒體娛樂以及客戶服務等行業。眾多獨立軟體廠商ISV與遊戲開發商都在其應用中採用了Audio2Face。遊戲開發者包括Codemasters、GSC Game World、網易、完美世界。ISV包括Convai、Inworld AI、Reallusion、Streamlabs和UneeQ。

以下是開源工具的完整列表，更多詳情請查看面向遊戲開發的 NVIDIA ACE。

關於NVIDIA

NVIDIA(NASDAQ: NVDA)是加速計算領域的全球領導者。