Quais modelos fazem o quê
| Modelo | Fala na mesma passagem | Utilizar uma voz específica | Custo extra para som |
|---|---|---|---|
| Kling 4.0 | Sim, estéreo sempre ativo | Crie uma voz e depois passe o seu id | Nenhum |
| Seedance 2.5 | Sim; escreva o diálogo entre aspas | Anexe uma gravação limpa, de 1.8 a 30.2 s em fal | Nenhum |
| Wan 3.0 | Sim | Anexe até 15 s de áudio de referência na fal | Nenhum |
| Veo 3.1 | Sim; o Google afirma que a fala curta ainda está em fase de melhoria | Nenhum caminho que tenhamos testado | $0.40 segundos com áudio contra $0.20 sem áudio, em falha |
Sem uma amostra de voz, cada modelo inventa uma voz, pelo que essa voz não será igual em planos separados. Isso torna-se relevante assim que uma personagem fala em mais do que uma geração.
O que aconteceu quando tentámos
A cena da casa de bonecas tinha duas personagens falantes e falas curtas. Google Flow’s primeira tomada atribuiu ambas as falas ao gigante, antes de qualquer coisa ser lançada, e a sua segunda perdeu o “Desculpe” por completo. Wan 3.0 entregou ambas as falas às personagens certas e adicionou algumas notas de música que o prompt tinha excluído. No MiniMax H3 turbo, um rosto grande a falar mostrou artefactos claros. É necessário o modelo completo.
Wan 3.0, duas linhas de diálogo gerado, com som.
One Prompt Studio tem um apresentador a falar durante todo o tempo. Wan 3.0 gerou a fala e a sincronização labial ao longo de 30 segundos. Substituímos depois a voz por uma personalizada usando o speech-to-speech da ElevenLabs, o que manteve o tempo das palavras, para que a boca continuasse a coincidir. O guião teve 49 palavras em 30 segundos, acima das aproximadamente 40 que um construtor de prompts Seedance trata como seguro. Linhas mais longas são onde deve esperar distorções na fala.
Quatro percursos, e quando utilizar cada um
| Rota | Ideal para | Compromisso | O nosso resultado |
|---|---|---|---|
| Diálogo na geração | Personagens gerados | Cada execução inventa a voz, a menos que forneça uma | Wan 3.0, 30 s a 1080p, $6.00 |
| Speech-to-speech numa tomada | A sua própria voz num personagem gerado | O tempo deve manter-se o mesmo | Sincronização de palavras mantida no One Prompt Studio |
| Avatar a partir de uma foto | Nova peça para câmara a partir de uma foto | Gestos inventados, por vezes com pele suavizada | Kling Avatar de IA v2 Pro, 5.55 s: $0.83 e 7 minutos. OmniHuman 1.5: $0.89 e 3 minutos |
| Sincronização labial em filmagens reais | Uma nova linha numa tomada real | Boca ligeiramente mais suave do que a pele ao redor | sync lipsync-2-pro na fal: 2.87 s por cerca de $0.24 |
Quando o interlocutor é uma pessoa real
Mantenha a gravação real sempre que possível. No nosso teste de talking-head, o Seedance 2.5 Video Edit alterou a sala e o traje, enquanto os piscar de olhos, os movimentos da boca e os gestos permaneceram no lugar. A sua entrada de 5.00 segundos resultou num vídeo de 4.71 segundos, por isso esticámos o vídeo e sobrepusemos a voz original. A voz nunca foi reconstruída e os gestos alinharam-se num intervalo de dois fotogramas.
Para uma passagem de lip-sync, escolha uma tomada de origem cuja duração da fala coincida com a nova linha. O nosso único bom resultado utilizou uma tomada com 2.17 segundos de fala para uma linha de 2.15 segundos. O movimento da cabeça mantém-se o da origem, pelo que, se o ritmo for diferente, parecerá dobrado. Fique atento a borrões na textura dos lábios quando a boca se fecha após a fala.
Clone ou anime alguém apenas com o seu consentimento. Na fal, o Seedance 2.5 recusou categoricamente um vídeo de uma pessoa real no nosso teste, pelo que poderá precisar de outra plataforma para este fim.
Como escrever diálogos que funcionem
- Nomeie o interlocutor de cada linha, na ordem em que falam.
- Escreva uma frase curta a cada poucos segundos. Deixe um intervalo para a ação.
- Coloque as palavras faladas entre aspas e indique o idioma.
- Descreva a voz ou anexe uma. Diga o que deve estar em silêncio, como “sem música”, e verifique de qualquer forma.
- Mantenha o rosto suficientemente grande no plano, e num modelo completo em vez de um rascunho.
- Verifique com o som ligado, em tamanho real, antes de pagar pela resolução mais elevada.
Voz, imagem e edição em conjunto
Estou a construir o easyai.video para guardar a voz, as tomadas e as legendas com a imagem, desde a primeira referência até à exportação. Está em fase de desenvolvimento final.
Junte-se à lista de espera ↗