Qué modelos hacen qué
| Modelo | Locución en la misma pasada | Uso de una voz específica | Coste adicional por sonido |
|---|---|---|---|
| Kling 4.0 | Sí, estéreo siempre activado | Crea una voz y luego pasa su ID | Ninguno |
| Seedance 2.5 | Sí; escribe el diálogo entre comillas dobles | Adjunta una grabación limpia, de 1.8 a 30.2 s en fal | Ninguno |
| Wan 3.0 | Sí | Adjunta hasta 15 s de audio de referencia en fal | Ninguno |
| Veo 3.1 | Sí; Google afirma que el habla breve sigue mejorando | Ninguna ruta que hayamos probado | $0.40 un segundo con audio frente a $0.20 sin él, en fal |
Sin una muestra de voz, cada modelo inventa una voz, por lo que esa voz no coincidirá entre planos distintos. Eso importa en cuanto un personaje habla en más de una generación.
Qué ocurrió cuando lo intentamos
La escena de la casa de muñecas tenía dos personajes hablando y frases cortas. La primera toma de Google Flow asignó ambas líneas al gigante, antes de que se lanzara nada, y su segunda perdió el “Lo siento” por completo. Wan 3.0 entregó ambas líneas a los personajes correctos y añadió algunas notas musicales que el prompt había descartado. En MiniMax H3 turbo, un rostro grande hablando mostraba artefactos claros. Necesita el modelo completo.
Wan 3.0, dos líneas de diálogo generado, con sonido.
One Prompt Studio tiene a un presentador hablando durante todo el tiempo. Wan 3.0 generó el habla y la sincronización labial a lo largo de 30 segundos. Luego reemplazamos la voz con una personalizada usando speech-to-speech de ElevenLabs, lo que mantuvo la sincronización de las palabras, de modo que la boca seguía coincidiendo. El guion llegó a 49 palabras en 30 segundos, por encima de las aproximadamente 40 que un generador de prompts de Seedance trata como seguras. Las líneas más largas son donde deberías esperar arrastre de voz.
Cuatro rutas, y cuándo usar cada una
| Ruta | Ideal para | Compromiso | Nuestro resultado |
|---|---|---|---|
| Diálogo en la generación | Personajes generados | Cada ejecución inventa la voz a menos que tú le proporciones una | Wan 3.0, 30 s a 1080p, $6.00 |
| Speech-to-speech sobre una toma | Tu propia voz en un personaje generado | El tiempo debe mantenerse igual | Sincronización de palabras mantenida en One Prompt Studio |
| Avatar a partir de una foto | Nueva toma a cámara a partir de una foto | Gestos inventados, piel suavizada en ocasiones | Kling Avatar IA v2 Pro, 5.55 s: $0.83 y 7 minutos. OmniHuman 1.5: $0.89 y 3 minutos |
| Sincronización labial en metraje real | Una línea nueva en una toma real | Boca ligeramente más suave que la piel que la rodea | sync lipsync-2-pro en fal: 2.87 s por unos $0.24 |
Cuando el interlocutor es una persona real
Conserva la grabación real siempre que puedas. En nuestra prueba de talking-head, Seedance 2.5 Video Edit cambió la habitación y la vestimenta mientras los parpadeos, las formas de la boca y los gestos se mantuvieron en su lugar. Su entrada de 5.00 segundos se convirtió en 4.71 segundos, así que la reajustamos y colocamos la voz original encima. La voz nunca se reconstruyó y los gestos coincidieron con un margen de dos fotogramas.
Para una pasada de sincronización labial, elige una toma de origen cuya duración de habla coincida con la nueva línea. Nuestro único buen resultado utilizó una toma con 2.17 segundos de habla para una línea de 2.15 segundos. El movimiento de la cabeza se mantiene de la toma original, por lo que si el ritmo difiere, parecerá doblado. Busca el emborronamiento de la textura de los labios cuando la boca se cierra tras la frase.
Solo clona o anima a alguien con su consentimiento. En fal, Seedance 2.5 rechazó directamente un vídeo de una persona real en nuestra prueba, por lo que es posible que necesites otra plataforma para esto.
Cómo escribir diálogos que funcionen
- Indica el nombre del interlocutor de cada línea, en el orden en que hablan.
- Escribe una frase corta cada pocos segundos. Deja un espacio para la acción.
- Pon las palabras habladas entre comillas dobles e indica el idioma.
- Describe la voz o adjunta una. Indica qué debe estar en silencio, como “sin música”, y compruébalo de todos modos.
- Mantén la cara lo suficientemente grande en el plano, y usa un modelo completo en lugar de uno de borrador.
- Comprueba con el sonido activado y a tamaño completo antes de pagar por la resolución más alta.
Voz, imagen y montaje juntos
Estoy construyendo easyai.video para integrar la voz, las tomas y los subtítulos con la imagen, desde la primera referencia hasta la exportación. Está en fase final de desarrollo.
Apúntate a la lista de espera ↗