Vidéo IA avec dialogue : quels modèles gèrent la parole et la synchronisation labiale

Quels modèles font quoi

Sans échantillon vocal, chaque modèle invente une voix, cette voix ne sera donc pas cohérente d'un plan à l'autre. Cela devient crucial dès qu'un personnage parle dans plus d'une génération.

Ce qui s'est passé lors de nos essais

La scène de la maison de poupée comportait deux personnages parlants et des répliques courtes. La première prise de Google Flow a attribué les deux répliques au géant, avant que quoi que ce soit ne soit lancé, et sa seconde a totalement perdu le « Désolé ». Wan 3.0 a attribué les deux répliques aux bons personnages et a ajouté quelques notes de musique que le prompt avait exclues. Sur MiniMax H3 turbo, un large visage parlant présentait des artefacts visibles. Il nécessite le modèle complet.

Wan 3.0, deux lignes de dialogue générées, avec le son.

One Prompt Studio présente un présentateur qui parle tout au long. Wan 3.0 a généré la parole et la synchronisation labiale sur 30 secondes. Nous avons ensuite remplacé la voix par une voix personnalisée via le speech-to-speech d'ElevenLabs, ce qui a conservé le timing des mots, permettant ainsi la correspondance de la bouche. Le script comptait 49 mots en 30 secondes, soit au-dessus des 40 environ qu'un constructeur de prompt Seedance considère comme une limite de sécurité. Les lignes plus longues sont celles où vous risquez d'entendre des bafouillages.

Quatre parcours, et quand utiliser chacun d'eux

Quand l'interlocuteur est une personne réelle

Conservez l'enregistrement réel dès que possible. Dans notre test de talking-head, Seedance 2.5 Video Edit a modifié la pièce et la tenue, tandis que les clignements d'yeux, les formes de la bouche et les gestes sont restés en place. Son entrée de 5.00 secondes est ressortie en 4.71 secondes, nous l'avons donc étirée et avons superposé la voix originale. La voix n'a jamais été reconstruite et les gestes étaient alignés à deux images près.

Pour une passe de synchronisation labiale, choisissez une prise source dont la durée de parole correspond à la nouvelle ligne. L'un de nos meilleurs résultats a utilisé une prise avec 2.17 secondes de parole pour une ligne de 2.15 secondes. Le mouvement de la tête provient de la source, donc si le rythme diffère, l'effet sera celui d'un doublage. Surveillez les bavures de texture sur les lèvres lorsque la bouche se referme après la réplique.

Ne clonez ou n'animez une personne qu'avec son consentement. Sur fal, Seedance 2.5 a refusé catégoriquement une vidéo d'une personne réelle lors de notre test, vous devrez donc peut-être utiliser une autre plateforme pour cela.

Comment écrire des dialogues qui tiennent la route

• Nommez l'interlocuteur de chaque ligne, dans l'ordre de leur prise de parole.
• Écrivez une phrase courte toutes les quelques secondes. Laissez un espace pour l'action.
• Mettez les paroles entre guillemets et précisez la langue.
• Décrivez la voix ou joignez-en une. Précisez ce qui doit être silencieux, comme "pas de musique", et vérifiez tout de même.
• Gardez le visage suffisamment grand dans l'image, et utilisez un modèle complet plutôt qu'un modèle d'essai.
• Vérifiez avec le son activé, en taille réelle, avant de payer pour la haute résolution.

Écrit par Oleksiy Onishchenko, qui produit des films par IA pour les marques et enseigne les ateliers de vidéo par IA. Fondateur de easyai.video.