Які моделі для яких завдань
| Модель | Мовлення в одному проході | Використання конкретного голосу | Додаткова вартість звуку |
|---|---|---|---|
| Kling 4.0 | Так, стереозвук увімкнено завжди | Створіть голос, а потім передайте його id | Немає |
| Seedance 2.5 | Так; пишіть діалоги у подвійних лапках | Прикріпіть чистий запис, від 1.8 до 30.2 с на fal | Немає |
| Wan 3.0 | Так | Прикріпіть до 15 с референсного аудіо на fal | Немає |
| Veo 3.1 | Так; Google зазначає, що якість коротких промов усе ще вдосконалюється | Жоден із протестованих нами варіантів | $0.40 за секунду з аудіо проти $0.20 без нього, на fal |
Без зразка голосу кожна модель вигадує власний, тому цей голос не буде однаковим у різних кадрах. Це стає критичним, щойно персонаж заговорить у більш ніж одній генерації.
Що сталося, коли ми спробували
Сцена з будиночком мала двох персонажів, що розмовляють, і короткі репліки. Google Flow у першому дублі віддав обидві репліки велетню ще до того, як щось полетіло, а в другому взагалі втратив «Вибач». Wan 3.0 передав обидві репліки правильним персонажам і додав кілька музичних нот, які промпт виключив. На MiniMax H3 turbo велике обличчя, що говорить, мало чіткі артефакти. Потрібна повна модель.
Wan 3.0, два рядки згенерованого діалогу зі звуком.
One Prompt Studio має ведучого, який говорить протягом усього відео. Wan 3.0 згенерував мовлення та синхронізацію губ протягом 30 секунд. Потім ми замінили голос на кастомний за допомогою функції speech-to-speech від ElevenLabs, що дозволило зберегти таймінг слів, тому рухи рота все одно збігалися. Текст складав 49 слів за 30 секунд, що перевищує приблизно 40 слів, які конструктор промптів Seedance вважає безпечним лімітом. На довших фразах варто очікувати розтягування звуків.
Чотири шляхи та коли використовувати кожен із них
| Маршрут | Найкраще для | Компроміс | Наш результат |
|---|---|---|---|
| Діалог у генерації | Згенеровані персонажі | Кожен запуск створює новий голос, якщо ви не надасте свій | Wan 3.0, 30 шт. при 1080p, $6.00 |
| Speech-to-speech протягом одного дубля | Ваш власний голос для згенерованого персонажа | Таймінг має залишатися незмінним | Таймінг слів збережено в One Prompt Studio |
| Аватар із фото | Новий відеоплан з однієї фотографії | Вигадані жести, іноді занадто гладка шкіра | KlingAI Avatar v2 Pro, 5.55 с: $0.83 та 7 хв. OmniHuman 1.5: $0.89 та 3 хв. |
| Синхронізація губ на реальних кадрах | Нова репліка у реальному дублі | Рот трохи м'якший за шкіру навколо нього | синхронізація губ lipsync-2-pro на fal: 2.87 с за приблизно $0.24 |
Коли спікер - реальна людина
За можливості зберігайте оригінальний запис. У нашому тесті з «говорячою головою», Seedance 2.5 Video Edit змінив кімнату та одяг, тоді як моргання, рухи рота та жести залишилися на місці. Його 5.00-секундний вхідний матеріал перетворився на 4.71 секунди, тому ми розтягнули його назад і наклали оригінальний голос зверху. Голос ніколи не реконструювався, а жести збігалися з межами двох кадрів.
Для синхронізації губ оберіть вихідний дубль, тривалість мовлення в якому відповідає новій фразі. Наш один вдалий результат був отриманий з дублем тривалістю 2.17 секунд для фрази на 2.15 секунду. Рух голови зберігається з оригіналу, тому якщо ритм відрізняється, це виглядатиме як дубляж. Звертайте увагу на розмиття текстури губ, коли рот закривається після фрази.
Клонуйте або анімуйте когось лише за його згодою. На fal, Seedance 2.5 під час нашого тесту відразу відхилив запит на відео з реальною людиною, тому для цього вам може знадобитися інша платформа.
Як писати діалоги, які звучать природно
- Вкажіть ім'я мовця для кожного рядка в порядку їхнього виступу.
- Пишіть по одному короткому реченню на кілька секунд. Залишайте проміжки для дії.
- Поміщайте усні висловлювання у подвійні лапки та вказуйте мову.
- Опишіть голос або додайте свій. Вкажіть, що має бути без звуку, наприклад, «без музики», і все одно перевірте результат.
- Тримайте обличчя в кадрі достатньо великим і використовуйте повну модель замість чернетки.
- Перевірте з увімкненим звуком у повному розмірі, перш ніж платити за вищу роздільну здатність.
Голос, зображення та монтаж разом
Я створюю easyai.video, щоб зберігати голос, дублі та субтитри разом із зображенням - від першого референсу до експорту. Проєкт на стадії фінальної розробки.
Приєднатися до списку очікування ↗