FlyAIgh

如何用 AI 替換影片中的人物?從角色照片到成片的完整流程

發佈於 2026年10月12日閱讀時間 8 分鐘

角色圖提供新的外形,原影片提供表演參考。用兩組真實對照說明人物替換怎樣做、哪些細節會變化,以及如何準備素材和檢查成片。

替換影片人物需要什麼

用 AI 替換影片中的角色,通常需要一段原影片和一張清楚的角色圖,再選擇換整個人還是隻換臉。角色圖描述新的外形,影片提供表演和運鏡參考。結果是一段生成的影片,因此除了看臉像不像,還要檢查動作和周圍內容。

使用自己的影片時,進入 Recast 換人換臉工具;想從現成的動作樣片開始,則選擇 Recast 模板。這是兩條不同的流程:前者接收你上傳的原影片,後者從我們重拍好的樣片開始。

換臉、換人還是動作遷移?

先決定成片裡哪些內容需要保留。工具寫著“影片轉影片”,並不足以說明它具體會做什麼。

目標選擇結果要檢查什麼
換臉,保留原身體和服裝只換臉新臉的身份;原發型、服裝和身體是否保留
連身體和服裝一起換成新角色換整個人全身外形;其他人物和場景有沒有被誤改
讓圖片中的角色表演一段已有動作動作驅動的角色動畫背景和構圖究竟取自哪一份輸入
改場景、風格或其他畫面元素影片編輯或參考生成場景變化、運鏡、節奏與連貫性

供應商可能為這些任務提供不同介面。阿里雲的官方模型說明就區分了參考生成、影片編輯、動作驅動動畫和影片人物替換。Recast 使用所支援模型的參考生成或編輯能力,這不代表每個模型都能逐畫素保留非目標區域。關於參考生成,可以繼續看影片轉影片指南。

兩個真實案例:STORM 與 BAD

左側原片,右側生成結果。0–15 秒是 STORM,15–30 秒是 BAD,兩側共用一個播放時間軸。STORM 的展示畫面由橫屏原素材裁為豎屏;這組對照已移除音軌。

STORM:主角從真人變為狸花貓,群像變為大型貓科動物。我們向 Seedance 2.5 提供了角色參考圖、從原片截圖改出的場景參考圖,以及一段 15 秒影片。生成角色穿著參考圖中的襯衫和領帶,鏡頭大致沿著抽菸、轉身、走進群像的順序推進。

結果也有可見偏差:轉身約晚了 2 秒;原片結尾的人物背對鏡頭,貓角色卻朝向鏡頭。它是一段有動作偏差、可用於創作的重拍結果,不能證明舞步精確復現、群像完全不變,或只換了臉。

BAD:綠幕白模變為辦公室裡的站長本人。這段 WAN 3.0 結果還使用了人物參考圖和改過的場景幀。展示的 15 秒片段參考白模的舞蹈,同時更換人物和環境。它展示的是人物替換加場景重建,不能用來證明背景保持原樣。

兩組案例的輸入和模型不同,適合說明流程,不屬於同條件模型橫評或成功率研究。製作案例時手動完成的部分準備工作,現在已有 Recast 工作臺代為處理。

準備影片和角色圖

  • 目標人物要清楚。先選一小段人物可見的影片。轉身、快速手部動作、人物交叉和切鏡頭都會增加需要檢查的細節。
  • 參考圖要覆蓋想替換的外形。換整個人時,除了臉,還要交代身體和服裝。只有頭像,身體比例和穿著就缺少明確參考。
  • 減少參考圖中的歧義。避免多個人、互相沖突的服裝和遮住臉的文字。在 Recast 中檢查圖片分析結果,再決定是否提取乾淨參考圖。
  • 角色和場景分開交代。先決定背景繼續作為參考,還是主動重新設計。需要更換背景時,要把它寫進任務說明。
狸花貓參考圖包含正面、背面和臉部特寫,三個視角都穿白襯衫和領帶
STORM 使用的角色參考圖:正面、背面與臉部細節。它提供了身體、毛色和服裝的資訊,而不只有臉。參考圖能補充模型可用的資訊,但不能保證每一幀的身份都不變。

頭像、全身照還是角色設定圖,該選哪一種?看你要替換的範圍,以及圖片實際展示了什麼:

參考圖提供的資訊上傳前檢查
頭像面部外形,適合只換臉的任務;身體和服裝資訊較少臉是否清楚。要換整個人時,選一張同時展示目標服裝和身體的圖。
全身照臉、身體比例和可見服裝放大後看臉是否清楚,想要的服裝是否真的出現在圖裡。
多視角角色設定圖補充其他視角,如 STORM 參考圖中的背面和臉部細節各視角的身份和服裝是否一致。檢查 Recast 的分析或提取結果,有沒有把多個視角當成多個角色。

包含三個視角的設定圖仍是一張圖片。我們沒有對這幾類圖片做同條件測試,表格說明的是各自提供的資訊,不能據此判斷哪種成功率最高。

使用你有權編輯和公開的影片及角色圖。涉及真人時,應取得本人許可;Recast 會要求確認真人參考圖的使用授權。

在 Recast 中替換人物

  1. 開啟自帶影片工具。選擇 Recast 上方的換人換臉板塊;下方模板卡片從我們提供的樣片開始。
  2. 上傳或選擇影片。可以從素材庫選擇,或上傳 MP4/MOV 檔案,最大 200 MB。長影片不需要預先剪短,在時間軸選取處理區間即可。
  3. 加入替換角色。上傳角色圖或選擇已有素材,檢查參考圖分析結果。若選擇提取人物,要先確認提取後的參考是否正確。
  4. 選擇替換範圍。換整個人會參考新圖的臉、髮型、身體和服裝;只換臉的目標是保留原發型、身體和服裝。多人出鏡時,明確描述要替換哪一個。
  5. 選擇模型、清晰度和聲音。檢查頁面顯示的時長限制與報價。選區超過模型單次上限時可以分段處理,但接縫處可能變化。
  6. 生成並對照。下載或使用之前,把整段結果與原片比較。效果有問題時,定位具體鏡頭和細節;影片檔案能正常播放,不等於人物替換效果合格。

說清楚改什麼、保留什麼

交代目標人物、替換參考,以及希望跟隨的表演;再分別說明需要保留的外形或場景。下面是一條可改寫的起始指令,並非案例生成時的原始提示詞。參考素材的引用語法取決於模型和介面。

Replace the lead dancer in the reference video with the character in the reference image. Use the image for the character’s face, hair, body and clothes. Follow the video’s dance sequence, camera movement and shot timing. Aim to preserve the other people and background. Do not add a new performer.

只換臉時,要明確修改範圍:參考圖只用於臉,並要求保留原發型、身體和服裝。指令用於設定目標,不能鎖住每一幀。群像中可以用“穿白襯衫的主角”等穩定特徵指認人物;人物換位後,單靠左邊或右邊容易產生歧義。

檢查成片,別隻看第一幀

  • 身份:檢查側臉、轉身、遮擋和最後一幀,有沒有變回原角色。
  • 動作:對照轉身、手勢和舞步發生的時間,而不只看它們有沒有出現。STORM 的延遲需要沿著時間軸比較才能判斷。
  • 替換範圍:檢查服裝混合、多餘耳朵或面部特徵、漏換的群像人物,以及非預期場景變化。
  • 連貫性:檢查每次切鏡頭與分段接縫,留意臉、人物大小、光線和鏡頭距離的變化。
  • 聲音:確認實際音軌。臉看起來正確,不能證明聲音被替換了,也不能證明口型與語音同步。

在後續一次 STORM 嘗試中,大全景切換後,遠處群像重新出現了人類。這裡的成功對照沒有使用那一段。最好看的一幀也可能掩蓋下一鏡頭的問題。角色一致性指南討論了跨影片使用參考圖的方法;這套人物替換流程仍需逐鏡檢查。

結果不理想,下一輪先檢查什麼?先找到出問題的時間點,再按對應現象排查:

看到的現象先檢查可考慮的調整
換錯了人物切鏡頭或人物換位後,目標描述還能不能指向同一人用可見服裝等穩定特徵指認,選一段目標容易辨認的片段。
身體或服裝不像參考角色替換範圍,以及實際選中或提取後的參考圖換整個人時,參考圖應展示身體和目標服裝;刪去相互矛盾的指令。
轉身或舞步發生得太晚在實際選區內,對照原片與結果中同一個動作的時間時序很重要時,圍繞該動作選更短的片段測試,再對照新結果。
切鏡頭或分段接縫後變了角色接縫前的最後幾幀和接縫後的最初幾幀保持角色參考與替換範圍一致;用分段重試處理出問題的生成段。

保留每次的輸入和成片,記下改動。這些是排查順序,不能證明問題的原因或保證修好。每輪只調整一項,比較下一次結果時更容易判斷變化。

時長、聲音和費用

當前自帶影片換人工作臺,一次任務最多選取 30 秒。單次生成上限由模型決定:這套流程中,Seedance 2.5 最多 30 秒,WAN 3.0 最多 15 秒,Kling V3 Omni 最多 10 秒。這是 Recast 接入流程的限制,並非供應商所有介面的統一上限。

報價隨模型、清晰度和處理時長變化,Recast 的影片費用包含參考影片秒數。可選的人物參考圖提取也會單獨顯示費用,生成前應一起檢視。分段處理由多次付費生成組成。

自帶影片工具預設保留原片聲音,也可選擇模型生成的環境聲;模板使用生成環境聲或靜音,不附帶原版歌曲。上面的對照影片已靜音。瀏覽頁面和樣片免費,影片生成需要付費帳戶和積分。

使用自己的片段,可以進入換人換臉工作臺;想從已有樣片開始,可以選擇現成模板。工作臺會在提交前顯示可用選項和報價。

來源與案例記錄

STORM 主角與群像重拍於 2026-09-27,使用 Seedance 2.5;BAD 舞蹈案例生成於 2026-10-09,使用 WAN 3.0。兩段對照各為 15 秒。STORM 原片來自 GENER8ION 與 Yung Lean 的 STORM MV;BAD 原片是一段提供給我們的綠幕白模舞蹈。豎屏裁切、移除音軌和拼接用於展示,沒有為本文重新呼叫影片生成模型。

準備流程和效果觀察來自我們保留的輸入、提示詞與成片。工作臺限制核對日期為 2026-10-12。模型任務定義參考阿里雲的影片生成與編輯文件。這些案例沒有測量只換臉的可靠性,也不能保證以後每次生成都得到同樣效果。

常見問題

怎樣用 AI 替換影片中的人物?

使用同時接受原影片和角色圖的工具,選定目標人物及處理區間,選擇換整個人或只換臉,然後檢查結果中的身份、動作和非目標內容是否發生變化。在 FlyAIgh 中,開啟 Recast 上方的自帶影片換人換臉工具即可。

影片人物替換和換臉是同一件事嗎?

不是。只換臉的目標是保留原片髮型、身體和服裝;換整個人則參考角色圖替換臉、髮型、身體和服裝。生成式模型在兩種模式下都可能改變目標以外的細節,因此“保留原樣”是需要驗收的目標,不能當作保證。

AI 能完全保留原片的舞蹈動作嗎?

參考影片可以引導舞蹈,但不能保證每個動作和時間點完全一致。STORM 案例中,轉身約晚了 2 秒,結尾的朝向也發生變化。要把完整成片與原片對照,尤其檢查轉身、手部、遮擋和切鏡頭的位置。

Recast 可以上傳長影片嗎?

可以。上傳長影片後,在時間軸選取最多 30 秒的區間。單次生成上限由模型決定;較長區間可以分段處理,但接縫處可能出現人物、構圖和光線變化。

換人會自動把聲音也換掉嗎?

不會。畫面換人不等於換聲音。自帶影片工具預設保留原片聲音,也可選擇模型生成的環境聲。Recast 模板不附帶原版歌曲。瀏覽樣片免費,影片生成需要付費帳戶和積分。

換人換臉

上傳一段影片和一張角色照片,選擇換整個人或只換臉,生成新的片段。

開始換人換臉