Remplacer les personnes et les lieux dans des séquences existantes : quels outils IA conservent le mouvement

La séquence de test est un spot publicitaire de 16 secondes comprenant onze coupes. L'objectif était de conserver chaque coupe, chaque mouvement de caméra et chaque geste, tout en remplaçant tout le reste : cinq personnages principaux, cinq lieux, la couleur de la marque, ainsi que chaque sous-titre, logo et élément graphique flottant. Chaque nouvelle personne et chaque nouveau lieu a d'abord été créé sous forme d'image fixe puis approuvé, et chaque outil ci-dessous a utilisé ces mêmes images fixes.

Le résultat était nécessaire en 9:16 et en 16:9, ce qui divise le travail en deux tâches distinctes. Le remplacement modifie ce qui se trouve dans l'image et doit préserver le mouvement. Le recadrage transforme un montage vertical fini en un montage large en inventant les côtés manquants. Cette note compare les deux sur la même séquence.

Remplacement : ce qui a préservé le mouvement

Le test est simple. Jouez le résultat à côté de la source : est-ce que chaque personne bouge, se tourne et traverse toujours le cadre au même moment, et est-ce que les cuts sont restés là où ils étaient ?

Seedance 2.5 a conservé le meilleur plan de face dans notre test de pièce et de tenue, son échec ici mérite donc d'être souligné. Dans Dreamina, une vidéo accompagnée de photos de référence passe par le mode multimodal, ce qui génère un nouveau clip guidé par la vidéo. Il n'y a pas d'option de montage. Les personnes et les lieux étaient corrects ; la performance ne l'était pas.

Deux méthodes n'ont pas été testées. H3 Max Recast ne remplace que les personnes, jusqu'à quatre, et aurait conservé les lieux, la couleur et le texte. Kling O3 Edit construit chaque remplacement autour d'un personnage principal, donc un plan avec plusieurs personnes nécessiterait une exécution par personne.

Wan 3.0 nécessite des séries courtes

Wan 3.0 accepte jusqu'à 15 secondes de vidéo source et dix photos de référence, la solution logique est donc une seule exécution pour tout le reste du clip. Nous l'avons testée : six plans, neuf images et une longue liste d'instructions, à 9.55 secondes. Wan a transformé chaque personne, mais a ignoré la plupart du reste. Les sous-titres, une carte d'application flottante et les enseignes et autocollants de la boutique d'origine ont survécu, et deux lieux ont conservé leur aspect original.

En divisant en séries de deux plans, chacun avec seulement les deux ou trois images nécessaires et en nommant chaque élément superflu dans le prompt, les mêmes plans ont été obtenus proprement.

Recadrage : étirement du cut vertical vers le 16:9

L'idée la moins coûteuse était de conserver le cut vertical approuvé et de l'étendre : placer l'image 9:16 au milieu d'un canevas 16:9 et laisser un modèle peindre la gauche et la droite. Le problème est la géométrie. Une image 9:16 ne remplit qu'environ un tiers d'une image 16:9, donc les deux tiers de chaque image sont inventés.

Le même plan, de cinq manières différentes

Trois reframes du plan vertical, puis le même plan via les deux méthodes de montage, qui partaient du rush horizontal original. Les cinq sont diffusés dans leur résolution native.

La même image centrale de chaque résultat en taille réelle : le côté gauche, l'homme au comptoir, le côté droit.

Le montage l'emporte, et de loin. Un montage part d'une véritable image large, ses côtés possèdent donc une géométrie, une profondeur et des personnes réelles. Un recadrage doit les inventer, et à deux tiers de l'image, l'invention se voit. Le recadrage vaut le coup pour de petits ajouts, comme une bande de mur ou de ciel, mais pas pour transformer un cut vertical en un cut horizontal.

Coût de chaque exécution

Chaque option est tarifée pour 5 secondes de séquence aux prix catalogue standard, afin de permettre une comparaison directe. Les crédits Higgsfield suivent le forfait Plus facturé au mois, $59 pour 1,200 crédits. Les crédits Kling.ai suivent le forfait Standard facturé au mois, $8.80 pour 660 crédits. Les tarifs changent ; consultez fal, Higgsfield et Kling.ai pour les chiffres actuels.

Ce qu'il faut retenir

1. Créez d'abord les images fixes. Chaque itinéraire ci-dessus a utilisé les mêmes personnes et les mêmes lieux approuvés, ce qui a permis de maintenir la cohérence de la distribution à travers les outils et les formats.
2. Vérifiez que l'outil modifie et ne régénère pas. Jouez le résultat à côté de la source. Si les personnes restent immobiles ou si le cadrage change, il s'agissait d'une nouvelle génération.
3. Limitez la taille de chaque série de montage. Deux ou trois plans, uniquement les images nécessaires à ces plans, et chaque élément restant nommé dans le prompt. Une série surchargée remplace les personnes et ignore discrètement le reste.
4. Choisissez par plan. Kling 4.0 pour les changements de lieu, Wan 3.0 lorsque la foule en arrière-plan est importante. Les deux conservent les coupes, de sorte que les plans s'enchaînent proprement.
5. Refaites chaque format à partir de sa source. Si un original est en format horizontal, montez-le. L'outpainting d'un cut vertical invente les deux tiers de l'image.
6. Coupez les plans inutilisés avant de payer. Les montages facturent également les secondes d'entrée, supprimez donc les plans que le montage final n'utilise pas.

Les boutons de prompt affichent la structure des prompts utilisés, les détails spécifiques au plan étant remplacés par des espaces réservés entre crochets.

Remake this 16-second ad as if it were filmed in [new setting]. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

REFERENCES:
- @Image1 replaces [the person in shot A] ([time range]); the place becomes @Image6.
- @Image2 replaces [the person in shot B] ([time range]); the place becomes @Image7.
- ... one line per person and place, with the time ranges where they appear.

PEOPLE: everyone else is [what the extras should look like].
CLOTHING: [the wardrobe rule for extras].
COLOUR PALETTE: replace every [old brand colour] with [new palette]. No [old brand colour] anywhere.
PHONE SCREENS: [what every visible screen shows].
REMOVE COMPLETELY: all subtitles, small legal text, the source logo, floating graphics and all signs and lettering. Add no new text.

Edit [Video 1]: Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

0.0-2.5s: [the person in shot A] becomes the person in [Image: person A] ([outfit]); the place becomes [Image: place A].
2.5-4.8s: [the person in shot B] becomes the person in [Image: person B]; the place becomes [Image: place B]. [The extra who crosses the frame] becomes [description].

Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit @Video1. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

First shot (0.0-2.5s): [the person in shot A] becomes the person in @Image1 ([outfit]); the place becomes [new place] in @Image2.
Second shot (2.5-4.8s): [the person in shot B] becomes the person in @Image3; the place becomes @Image4. [The extra who crosses the frame] becomes [description], with the same walk and timing.

Every other person is [what the extras should look like]. Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit Video 1: keep both shots, the cut, every camera move, hand and body movement and the timing exactly; change only what is listed.

Shot 1 (0.0-1.1s): replace [the person] with the person in Image 1, same face, hair and outfit. Change the [place] into the [new place] in Image 2: [three or four concrete features of the new place]. Remove every sign and sticker: [name each leftover from the source, word for word].
Shot 2 (1.1-2.2s): [the hands, props or screen and what they become]. [Any object that keeps the old colour] becomes [new colour].

Change every [old brand colour] to [new palette]; no [old brand colour] anywhere. Remove all subtitles including [the exact word on screen], floating chips and all lettering; add no new text. Real handheld footage, [light].

Continue the same [place] to the left and right: [materials, fittings and props already visible in the frame], and [what lies beyond it] with a few passers-by. Same camera, light and colour grade as the source. No text, signs or logos.