写真を歌わせる方法：自分の曲でリップシンク動画を作る

自分の曲で写真を歌わせるには、クリアなポートレートとボーカル入りの録音を、音声駆動の動画ツールに提供します。画像が見た目を決め、録音が声を供給します。まずは短い区間から始め、長いバージョンを作る前に、音を出して生成された口の動きを確認してください。

すでに曲を持っている場合は、新しく作曲する必要はありません。このガイドでは、オリジナルの中国語（標準中国語）楽曲、Deng Huo Man (灯火慢) と既存のキャラクターポートレートを使用します。また、別々に生成した3つのショットを長いパフォーマンスに結合すると何が起こるかも示します。

写真・曲の一部・完成動画を見比べる

最初のショットでは、Suno楽曲のバージョンBの27.75～37.875秒と、下に表示するポートレートを使用しました。入力画像、曲の区間、完成した10.125秒の結果が同じテストに属していることを検証しました。

これは現在のミュージックワークスペースより前に、API経由でH3 Enhancedを使用した初期テストです。長尺バージョンはFFmpegで結合しました。掲載メディアは記録されたその実験を示しています。以下の手順は現在のFlyAIghインターフェイスを説明しています。

写真を歌わせる仕組み

写真を歌わせる動画は、顔の画像と音声を同時に参照して生成します。通常の画像から生成した動画に、後から曲を付けるだけでは口の動きは歌声に合いません。作りたいものに応じて方法を選んでください。

• あなたの録音に合わせて人物がパフォーマンスする場合は、歌唱動画を使用します。選択した曲の区間が、生成される各ショットを駆動します。
• パフォーマンスショットと風景で物語を作る場合は、フルMVを使用します。既存のミュージックビデオガイドが、その別のワークフローを説明しています。
• 静止画のカバー画像に音楽を付ける場合は、エディターで直接組み合わせることができます。これは歌う顔を生成せず、音楽付きの画像を作るだけです。

写真から、その被写体がどんな声かは分かりません。このワークフローは提供された録音を使用します。本人の声をクローンしたり、歌詞を書き換えたり、インストゥルメンタルを新しいボーカルパフォーマンスに変換したりするものではありません。

顔が見やすい写真と明瞭な歌声を選ぶ

生成前に、2つの入力によってパフォーマンスが見やすく聞きやすくなるかを確認してください。難しいトリミングや埋もれたボーカルは、長いクリップにクレジットを使う前に対処する価値があります。

• はっきり見える顔を1つ使います。まずは真正面または軽い斜め横からのアングルで、唇の周りに十分なディテールがあり、意図したフレームに合う構図から始めてください。手、マイク、髪が口を隠しているものは避けます。
• リードボーカルが明瞭な区間を選びます。ここでのテストは、分離したボーカルトラックではなく、ミックスされた楽曲を使用しました。すべての入力でボーカルを分離する必要はありませんが、バッキングコーラスや楽器が多いと結果の判定が難しくなります。
• 最初と最後を聞いてください。初めての試みでは、完全なフレーズの前後で10～15秒を試してください。静かな部分は、安全なカット位置ではなく、行の中のブレスである可能性があります。
• 追加ビューを用意する場合は、生成前に髪、服、イヤリング、背景を比較してください。各ビューは違いを生む可能性がある別の入力です。

使用する権利がある写真と録音を使ってください。キャラクター画像が顔を提供できる場合もありますが、この人間型のキャラクター例が、すべてのイラスト、動物、複数人の写真で同じ品質を保証するものではありません。

FlyAIghで歌唱動画を作る手順

ミュージックワークスペースで歌唱動画を選びます。初めてのテストでは、デフォルトの長い選択をそのままにせず、カメラ1台と短いカスタム区間を選んでください。

1. MP3またはWAVをアップロードするか、ワークスペースで既に生成された楽曲を選択します。既存のSuno楽曲の場合は、使用する権利のある音声ファイルをアップロードしてください。これはSunoリンクのインポートではありません。
2. 選択したセクションを聞き、認識された歌詞とタイミングを確認します。ショットを計画する前に間違いを修正してください。インターフェイスでは、現在の制限内で、楽曲全体のセクション、サビ、カスタム範囲を選択できます。
3. キャラクター写真を追加し、カメラを1つ選び、アスペクト比を設定します。実際の最初のフレームを確認してください。写真自体を使う、用意したフレームをアップロードする、シーン画像を生成することができます。生成したシーン画像は、確認が必要な新しい入力です。
4. 予定されたクリップとパフォーマンス指示を確認します。口元を読み取りやすく保つ必要がある場合は、要求する動きを抑えめにします。プロンプトで表情を誘導できますが、すべてのディテールを保証することはできません。
5. 利用可能なH3 Enhancedの480pまたは768pオプションを選び、表示される見積もりを確認します。開始前に楽曲セクション、フレーム、プランを確認してください。生成が始まると、選択とプランはロックされます。
6. 完成したMP4を音声付きで再生します。個々の区間と結合した結果を確認します。SRT歌詞をダウンロードした場合、表示される字幕が必要ならエディターで追加してください。別のSRTファイルは動画に焼き込まれていません。

動画生成には有料アカウントとクレジットが必要です。自分の曲を持ち込めば別の曲を生成せずに済みますが、画像、動画ショット、追加の試行には引き続きクレジットがかかる場合があります。過去のテストのコストではなく、現在の見積もりを確認してください。

自分の曲で歌う動画を作る

Close-up. The same young woman sings a gentle Mandarin ballad in a softly lit light-grey studio, calm tender expression, natural breathing, subtle head movement, no smiling, steady camera.

長い曲は1カメラと3カメラのどちらにする？

長いパフォーマンスでは、カメラ1台を選んでも、複数の生成クリップが必要になることがあります。現在の歌唱動画の選択範囲は10秒から6分までで、生成するクリップは5～15秒です。これは製品の制限であり、シームレスな6分テイクを検証した証拠ではありません。

カメラ変更を検証するため、同じテストで同じキャラクターの用意済み画像をさらに2枚使用しました。3つのショットはバージョンBの27.75～58.25秒をカバーし、30.5秒の映像を生成します。以下の画像は実際のBとCの入力であり、後から作成したプロモーション画像ではありません。

2つのカットは歌われている行の中にあります。過去のテストでは最初は音量が小さい地点を選びましたが、その後の歌詞タイミングにより、フレーズ内のブレスを間隔と誤認していたことが分かりました。現在のプランナーは歌詞タイミングを使ってより良い境界を探しますが、それでも結果を聞いて確認してください。ここでの3カメラは、1人のキャラクターの生成ビューを交互に使うことであり、実際のパフォーマンスの3つの同時録画ではありません。

口の動き・表情・カットを確認する

映像全体を一度再生してから、冒頭、10.125秒と20.75秒付近のカット、最後のフレーズに戻ってください。この例では、画像が変わってもサウンドトラックは連続しています。以下は個別のチェックです。

• 口の動き：歌い出し、間、伸ばす音、閉唇音などを、聞こえる音と比較します。口が動いていることや正しいサウンドトラックだけでは、正確なリップシンクを証明するには不十分です。
• 表情：最初のショットは下を向いた視線で終わり、次はカメラに戻ります。2番目のショットでは、笑顔なしという過去の指示にもかかわらず笑顔も見せます。そのパフォーマンスが曲に合っているかを判断してください。
• カットとフレーミング：最初のカットはビューを広げ、頭の位置をリセットします。2番目は視角を変えます。別々に生成したショットを1つの連続テイクのように期待するのではなく、音声付きでそれらの遷移を確認してください。
• 音声とエンディング：単語の繰り返し、音の欠け、急なレベル変化、フレーズの途切れを確認します。この映像は元楽曲の中で選択した地点で終わっており、楽曲全体のエンディングではありません。

再試行する場合は、まず入力を確認してください。より明瞭なポートレート、歌声がより聞き取りやすい区間、より良いフレーズ境界の方が、プロンプトに形容詞を追加するより役立つ場合があります。現在の結果ページでは、失敗したショットまたは未開始のショットを再試行できます。これは完成済みショットを無制限にやり直すボタンではありません。ロックされたセクションやプランを変更するには、新しいプロジェクトが必要です。

この事例の検証方法

元の楽曲、画像トリミング、アップロードファイルのハッシュ値、生成記録、個別クリップ、結合コマンドを確認しました。完成映像はツール支援による視聴覚レビューと、3ショットすべてにわたるフレームチェックを受けました。音声比較は元の区間を特定するためにのみ使用しました。これらのチェックは、リップシンク精度のスコア、成功率、すべての言語での同等の結果を証明するものではありません。

このワークフローに関する他の説明として、HeyGenは写真と音声の入力を説明し、TalkPixはボーカルの明瞭さと見える口について論じています。これらは各ベンダー自身の説明であり、FlyAIghの独立した評価ではありません。

HeyGen：写真を歌わせる方法

TalkPix：歌う写真と入力ガイダンス

自分の曲からミュージックビデオを作る

AI動画用にキャラクター参照画像を準備する