字節最新技術一鍵「遷移」表情神态，人人都是演技派
X-Portrait 2：生成式人像動畫技術的新突破
技術概述
近日，字節跳動與清華大學聯合在GitHub上發布了一款名為「X-Portrait 2」的生成式人像轉移模型。這款技術通過簡單的操作，即可将一段含有表情變化的表演視頻中的表情遷移到一張靜态肖像圖上，使靜态肖像“動起來”。用戶隻需提供一張靜态肖像和一段表演視頻，X-Portrait 2 就能一鍵完成表情遷移。
功能特點
高精度表情遷移
X-Portrait 2 不僅能夠精準遷移表情，還能複刻細微的神态變化，如眉眼和笑容中的“狡黠”和“頑皮”。即使在頭部大幅度轉動的情況下，表情依然保持自然，不失真。這一技術特别适用于對口型的場景，能夠配合後期修改台詞的需求，使動畫更加流暢自然。
跨風格和跨領域應用
X-Portrait 2 具備強大的适應性，能夠處理寫實肖像和卡通圖像，廣泛應用于現實世界的故事講述、動畫角色呈現、虛拟代理及其他視覺效果。在電影和動畫的後期特效制作中，X-Portrait 2 大大簡化了動作捕捉、角色動畫和内容創作的流程。
技術創新
先進的表情編碼器
X-Portrait 2 采用了一個更先進的表情編碼器，經過大規模數據集的訓練，能夠更精确地捕捉和再現人物的微妙表情，包括嘟嘴、鼓腮和皺眉等細節，顯著提升了表情的真實感。
外觀與動作分離
X-Portrait 2 實現了外觀和動作的有效分離，确保在遷移表情時，原始圖像的外觀特征得以保留，表情變化不會影響人物的基本面貌，提高了動畫的自然程度和一緻性。
生成式擴散模型
X-Portrait 2 引入了生成式擴散模型，能夠處理不同視角下的表情變化，生成更加流暢和真實的動畫效果，解決了傳統方法在視角變化時可能出現的表情不協調問題。
與競品對比
與 X-Portrait 對比
相較于其前代 X-Portrait，X-Portrait 2 在自然流暢度上有了顯著提升，特别是在處理快速頭部運動和微小表情變化時表現出色。
與 Runway Act-One 對比
與 Runway 的 Act-One 相比，X-Portrait 2 的生成效果更加精準細膩，表情複刻更為自然。例如，在處理“Nice 老爺爺”的喜感表情時，X-Portrait 2 能夠更好地傳遞出自然流露的“喜感”，而 Act-One 的生成效果則顯得較為僵硬和誇張。
開發者評價
開發者表示，X-Portrait 2 在快速頭部運動、微小表情變化和強烈個人情感的傳遞方面表現出色，這些特性對于高質量動畫内容創作至關重要。X-Portrait 2 的推出進一步推動了“用生成式 AI 代替動捕”這一概念的成熟，使其距離落地商用更近了一步。
我來說兩句