Как заставить фото петь вашу песню

Чтобы оживить фото под свою песню, загрузите чёткий портрет и запись с вокалом в инструмент видео на основе аудио. Изображение задаёт внешность, а запись обеспечивает голос. Начните с короткого фрагмента, затем просмотрите сгенерированные движения губ со включённым звуком, прежде чем создавать длинную версию.

Вам не нужно сочинять новую песню, если у вас уже есть готовая. В этом руководстве используется оригинальная песня на мандаринском языке Deng Huo Man (灯火慢) и существующий портрет персонажа. Также показано, что происходит, когда три отдельно сгенерированных кадра объединяются в более длинное выступление.

Одно фото, один отрывок песни и результат

Для первого кадра мы использовали версию B песни из Suno с 27.75 по 37.875 секунды и показанный ниже портрет. Мы подтвердили, что входное изображение, отрывок песни и полный результат длительностью 10.125 секунды относятся к одному и тому же тесту.

Это был ранний тест с использованием H3 Enhanced через API, до появления текущего музыкального рабочего пространства. Длинная версия была собрана с помощью FFmpeg. Медиафайлы демонстрируют этот записанный эксперимент; шаги ниже описывают текущий интерфейс FlyAIgh.

Что заставляет фото петь?

Поющее фото — это сгенерированное видео, основанное на изображении лица и аудиофрагменте. Простое наложение песни на обычный клип «изображение-в-видео» само по себе не заставит рот двигаться в такт пению. Выберите путь в зависимости от желаемого результата:

• Человек, исполняющий вашу запись: используйте «Видео с исполнением», где выбранный отрывок песни управляет каждым сгенерированным кадром.
• История с кадрами выступления и пейзажами: используйте «Полный клип». Существующее руководство по музыкальным клипам описывает этот отдельный рабочий процесс.
• Статичное обложочное изображение с музыкой: редактор может объединить их напрямую. Это создаст изображение с музыкальным сопровождением без генерации поющего лица.

Фотография не раскрывает, как звучит её объект. Этот рабочий процесс использует предоставленную запись; он не клонирует голос человека, не переписывает текст и не превращает инструментальную композицию в новое вокальное исполнение.

Выберите фото и разборчивый вокал

Перед генерацией проверьте, позволяют ли два входных файла легко увидеть и услышать выступление. Сложный кроп или заглушённый вокал стоит исправить до того, как тратить кредиты на длинный клип.

• Используйте одно чётко видимое лицо. Начните с анфас или лёгкого поворота в три четверти, с достаточной детализацией вокруг губ и композицией, подходящей для целевого кадра. Избегайте рук, микрофонов или волос, закрывающих рот.
• Выберите отрывок с чётким ведущим вокалом. В этом тесте использовалась сведённая песня, а не изолированная вокальная дорожка. Вам не обязательно разделять вокал для каждого входа, но плотные бэк-вокалы и инструменты усложняют оценку результата.
• Прослушайте начало и конец. Для первой попытки попробуйте 10–15 секунд вокруг завершённой фразы. Тихий момент может быть вдохом внутри строки, а не безопасным местом для склейки.
• Если вы готовите дополнительные ракурсы, сравните причёску, одежду, серьги и фон перед генерацией. Каждый ракурс — это отдельный входной файл, который может внести различия.

Используйте фотографии и записи, на которые у вас есть права. Изображение персонажа может предоставить лицо, но этот пример с антропоморфным персонажем не гарантирует одинакового качества для каждого рисунка, животного или фото с несколькими людьми.

Создание поющего видео в FlyAIgh

В музыкальном рабочем пространстве выберите «Видео с исполнением». Для первого теста выберите один ракурс и короткий пользовательский отрывок, а не оставляйте без проверки выбор по умолчанию для более длинных фрагментов.

1. Загрузите ваш MP3 или WAV или выберите песню, уже сгенерированную в рабочем пространстве. Для существующей песни из Suno загрузите аудиофайл, на использование которого у вас есть права; это не импорт по ссылке Suno.
2. Прослушайте выбранный раздел и проверьте распознанный текст и тайминг. Исправьте ошибки перед планированием кадров. Интерфейс может выбрать раздел всей песни, припев или пользовательский диапазон в текущих лимитах.
3. Добавьте фото персонажа, выберите один ракурс и установите соотношение сторон. Проверьте фактический первый кадр: используйте само фото, загрузите подготовленный кадр или сгенерируйте изображение сцены. Сгенерированное изображение сцены — это новый входной файл, требующий проверки.
4. Проверьте запланированные фрагменты и инструкции по исполнению. Держите запрошенное движение управляемым, если рот должен оставаться читаемым. Промпт может направлять мимику, но не гарантирует каждую деталь.
5. Выберите доступный вариант H3 Enhanced 480p или 768p и просмотрите отображаемую оценку. Подтвердите раздел песни, кадры и план перед запуском; выбор и план блокируются после начала генерации.
6. Воспроизведите готовый MP4 со звуком. Проверьте отдельные отрывки и собранный результат. Если вы скачиваете субтитры SRT, добавьте их в редакторе, когда нужны видимые подписи; отдельный файл SRT не вшит в видео заранее.

Генерация видео требует платного аккаунта и кредитов. Использование собственной песни позволяет избежать генерации другой песни, но изображения, видеокадры и дальнейшие попытки всё равно могут стоить кредитов. Используйте текущую оценку, а не стоимость исторического теста.

Создать видео с поющим фото под вашу песню

Close-up. The same young woman sings a gentle Mandarin ballad in a softly lit light-grey studio, calm tender expression, natural breathing, subtle head movement, no smiling, steady camera.

Длинные песни: один ракурс или три?

Длинное выступление может потребовать нескольких сгенерированных фрагментов, даже если вы выберете один ракурс. Текущий выбор в режиме «Видео с исполнением» позволяет от 10 секунд до 6 минут с запланированными фрагментами по 5–15 секунд. Это ограничение продукта, а не доказательство того, что мы тестировали бесшовный шестиминутный дубль.

Для проверки смены ракурсов тот же тест использовал ещё два подготовленных изображения того же персонажа. Три кадра охватывают версию B с 27.75 по 58.25 секунды, создавая фильм длительностью 30.5 секунды. Следующие изображения — реальные входы B и C, а не промо-картинки, созданные позже.

Две склейки находятся внутри пропетых строк. Исторический тест изначально выбирал точки с низкой громкостью, но последующий анализ тайминга текста показал, что вдох внутри фразы был ошибочно принят за паузу. Текущий планировщик использует тайминг текста для поиска лучших границ; вам всё равно следует прослушать и проверить результат. Три камеры здесь означают чередование сгенерированных видов одного персонажа, а не три одновременные записи реального выступления.

Проверка губ, мимики и склеек

Воспроизведите весь фильм один раз, затем вернитесь к началу, склейкам около 10.125 и 20.75 секунды и к финальной фразе. В примере звуковая дорожка остаётся непрерывной, пока изображение меняется. Это отдельные проверки:

• Движение губ: сравните начало пропетой фразы, паузы, удерживаемые ноты и звуки с закрытыми губами с тем, что вы слышите. Движущийся рот или правильная звуковая дорожка недостаточны для подтверждения точной синхронизации губ.
• Мимика: первый кадр заканчивается опущенным взглядом, а следующий возвращается к камере. Во втором кадре также появляется улыбка, несмотря на историческую инструкцию, запрещающую улыбки. Решите, подходит ли исполнение для песни.
• Склейки и кадрирование: первая склейка расширяет обзор и сбрасывает положение головы; вторая меняет угол обзора. Проверяйте эти переходы со звуком, а не ожидайте, что отдельные сгенерированные кадры будут вести себя как один непрерывный дубль.
• Аудио и окончание: проверьте наличие повторяющихся слов, пропущенного звука, резких изменений уровня и обрезанной фразы. Этот фильм заканчивается в выбранной точке исходной песни; это не конец всей песни.

Для новой попытки сначала проверьте входные данные: более чёткий портрет, более разборчивый вокальный отрывок или лучшая граница фразы могут быть полезнее, чем добавление дополнительных прилагательных в промпт. На текущей странице результатов доступна повторная попытка для неудавшихся или не начатых кадров. Это не универсальная кнопка повтора для любого завершённого кадра; изменение заблокированного раздела или плана требует нового проекта.

Как мы проверяли этот пример

Мы сверили исходную песню, обрезку изображений, хеши загруженных файлов, записи генерации, отдельные клипы и команду сборки. Полный ролик прошёл аудиовизуальную проверку с помощью инструментов; дополнительно были просмотрены кадры на протяжении всех трёх фрагментов. Сравнение аудио подтверждало только происхождение отрывка. Эти проверки не дают оценки точности синхронизации губ, процента успешных генераций или качества для всех языков.

Для других описаний этого рабочего процесса HeyGen объясняет ввод фото и аудио, а TalkPix обсуждает разборчивость вокала и видимые рты. Это объяснения самих поставщиков, а не независимые оценки FlyAIgh.

HeyGen: как заставить фото петь

TalkPix: поющие фото и рекомендации по вводу

Создать музыкальный клип из собственной песни

Подготовить референсные изображения персонажей для AI-видео