Какие модели для каких задач
| Модель | Речь за один проход | Использование конкретного голоса | Дополнительная стоимость звука |
|---|---|---|---|
| Kling 4.0 | Да, стереозвук включен всегда | Создайте голос, затем передайте его id | Нет |
| Seedance 2.5 | Да; пишите диалоги в двойных кавычках | Прикрепите чистую запись, 1.8 на 30.2 с | Нет |
| Wan 3.0 | Да | Прикрепите до 15 с референсного аудио на fal | Нет |
| Veo 3.1 | Да; Google утверждает, что короткая речь все еще совершенствуется | Ни один из протестированных нами вариантов | $0.40 в секунду со звуком против $0.20 без него, при ошибках |
Без образца голоса каждая модель придумывает его сама, поэтому голос не будет совпадать в разных кадрах. Это становится критичным, как только персонаж произносит реплики более чем в одной генерации.
Что произошло, когда мы попытались
Сцена с кукольным домиком включала двух говорящих персонажей и короткие реплики. Google Flow В первом дубле обе реплики достались гиганту, еще до того, как что-либо было брошено, а во втором слово «Извини» исчезло совсем. Wan 3.0 передали обе реплики нужным персонажам и добавили несколько музыкальных нот, которые промпт исключал. В версии MiniMax H3 turbo на крупном говорящем лице были видны явные артефакты. Требуется полная модель.
Wan 3.0, две строки сгенерированного диалога со звуком.
One Prompt Studio содержит ведущего, говорящего на протяжении всего видео. Wan 3.0 сгенерировали речь и синхронизацию губ на 30 секунд. Затем мы заменили голос на кастомный с помощью ElevenLabs speech-to-speech, сохранив тайминг слов, чтобы мимика соответствовала речи. Текст составил 49 слов за 30 секунд, что выше примерно 40 слов, которые конструктор промптов Seedance считает безопасным пределом. На более длинных фразах может возникнуть невнятная дикция.
Четыре пути и когда какой использовать
| Маршрут | Лучше всего подходит для | Компромисс | Наш результат |
|---|---|---|---|
| Диалог при генерации | Сгенерированные персонажи | Каждый запуск создает голос заново, если вы не предоставите свой | Wan 3.0, 30 с при 1080p, $6.00 |
| Speech-to-speech поверх дубля | Ваш собственный голос на сгенерированном персонаже | Тайминг должен оставаться прежним | Тайминг слов сохранен в One Prompt Studio |
| Аватар из фото | Новый говорящий персонаж из одного фото | Выдуманные жесты, иногда слишком гладкая кожа | KlingAI Avatar v2 Pro, 5.55 с: $0.83 и 7 минут. OmniHuman 1.5: $0.89 и 3 минут |
| Липсинк на реальных кадрах | Новая реплика в реальном дубле | Рот чуть мягче, чем окружающая кожа | sync lipsync-2-pro на fal: 2.87 с примерно за $0.24 |
Когда спикер - реальный человек
По возможности используйте оригинальную запись. В нашем тесте с говорящей головой, Seedance 2.5 Video Edit изменил комнату и одежду, при этом моргание, мимика и жесты остались прежними. Его 5.00-секундный входной файл превратился в 4.71 секунд, поэтому мы растянули его обратно и наложили оригинальный голос. Голос не пересоздавался, а жесты совпали с точностью до двух кадров.
Для синхронизации губ выберите исходный дубль, длительность речи в котором совпадает с новой репликой. Наш единственный удачный результат был получен при использовании дубля с речью 2.17 секунд для 2.15-секундной реплики. Движения головы сохраняются из исходника, поэтому, если ритм отличается, это будет выглядеть как дубляж. Следите за размытием текстуры губ при закрытии рта после реплики.
Клонируйте или анимируйте людей только с их согласия. На fal, Seedance 2.5 в ходе нашего теста категорически отклонил запрос на видео с реальным человеком, поэтому для этих целей вам может понадобиться другая платформа.
Как писать диалоги, которые звучат естественно
- Указывайте имя говорящего для каждой реплики в порядке их произнесения.
- Пишите по одному короткому предложению на каждые несколько секунд. Оставляйте паузы для действия.
- Заключайте произносимые слова в двойные кавычки и указывайте язык.
- Опишите голос или прикрепите свой. Укажите, что должно быть без звука, например, «без музыки», и все равно проверьте результат.
- Держите лицо в кадре достаточно крупным и используйте полную модель, а не черновую.
- Проверьте видео со звуком и в полном размере, прежде чем оплачивать более высокое разрешение.
Голос, изображение и монтаж вместе
Я создаю easyai.video, чтобы объединить голос, дубли и субтитры с изображением - от первого референса до экспорта. Проект находится на стадии финальной разработки.
Вступить в список ожидания ↗