Modifier un objet dans une vidéo : comparaison de six outils

La prise est presque parfaite. Le mouvement de caméra est bon, le timing est bon, le sujet est bon, mais un détail cloche : un camion là où vous vouliez autre chose, un panier de fruits qui n'a rien à faire là, la mauvaise veste. Régénérer l'intégralité du plan pour corriger cela signifie perdre tout ce qui fonctionnait. Ce dont vous avez besoin, c'est d'un montage qui modifie un seul objet tout en laissant le reste du clip intact.

Six outils ont été conçus à cet effet. Trois d'entre eux font l'objet d'une leçon chacun dans l'Academy gratuite de SYNTX.AI, avec des exemples concrets et le prix affiché par leur interface. Trois autres — Higgsfield Genjutsu, Runway Aleph 2.0 et Kling O1 Edit — sont décrits à partir des pages de leurs fournisseurs, et nous en avons utilisé un pour un projet réel, avec les images ci-dessous. Tout le reste ici n'a pas été testé par nos soins.

Trois outils issus des leçons SYNTX

Seedance 2.5 Monteur : marquez-le, nommez-le, conservez le reste

Le clip de la leçon montre une voiture traversant un marché animé, avec trois types de montage différents. Pour remplacer deux camions par des éléphants qui marchent, le présentateur a pointé une flèche sur chaque camion sur une image où les deux étaient visibles, a confirmé la sélection, et a écrit à côté de la balise qui apparaît dans le prompt : remplacer les deux camions par deux éléphants au même endroit, et ne pas modifier les autres plans. La voiture roule toujours entre eux ; la foule, les parapluies et le mouvement de caméra restent inchangés.

La suppression s'est faite de la même manière avec un rectangle autour d'un panier de fruits, choisi sur l'image précédant le renversement. Le prompt demandait de retirer le panier et chaque fruit éparpillé. Il n'était pas nécessaire de décrire l'arrière-plan ; le modèle l'a complété. Pour le troisième montage, un véhicule de police à la place du véhicule ordinaire, une image de référence a été ajoutée via le trombone, et la voiture a conservé sa trajectoire ainsi que la poussière derrière ses roues.

Le modèle à copier : sélectionnez une image où l'objet est entièrement visible, rédigez une instruction courte avec vos propres mots, et terminez toujours par « ne modifiez pas les autres plans ». Le prix est passé de 82.9 à 132.7 jetons lors du choix de la résolution de sortie ; la résolution est donc le principal levier de coût ici.

Beeble SwitchX : modifiez la première image, masquez le reste

SwitchX ne redessine pas l'image entière. Il conserve l'original et ne modifie que ce que le masque laisse ouvert, c'est pourquoi ses résultats ne présentent aucun des artefacts de génération habituels et pourquoi il rééclaire les objets pour qu'ils correspondent à leur nouvel environnement. Le travail s'effectue avant l'outil vidéo : vous éditez la première image dans un modèle d'image — le modèle GPT Image 2 utilisé dans la leçon — et SwitchX applique ce changement sur l'ensemble du clip.

• Du jour à la nuit sur des montgolfières : la première image est transformée en un ciel nocturne avec des ballons lumineux, grâce au masque Fill qui couvre toute l'image. Les ballons volent exactement comme auparavant.
• Un cheval devient une licorne blanche : le masque de sélection. Le blanc marque ce qui reste et le noir ce qui est redessiné ; le cheval a donc été détouré et le masque inversé. Le présentateur a également peint la zone où la queue balaie l'espace, sinon l'ancienne queue serait restée.
• D'un champ à un bar : le cavalier et la licorne sont détourés et laissés en blanc, de sorte que seul l'environnement change.
• Des vêtements de sport à un costume : le contour est tracé avec une marge autour du corps, car une sélection trop serrée peut parfois échouer.

Le prompt importe peu ici : une seule ligne générale sur le plan. C'est l'image montée qui fait le travail ; plus elle montre précisément le changement, moins vous avez à écrire.

Veo Omni Flash : économique, rapide, parfois imparfait

Omni Flash utilise la vidéo source et jusqu'à cinq images de référence, ou plusieurs images, ainsi qu'un prompt court. Son avantage est le prix : 14 jetons contre bien plus de cent pour les deux autres. La leçon est honnête sur le coût : les générations contiennent parfois des défauts, et la solution est de régénérer, ce qui est peu coûteux.

Il a remplacé l'arrière-plan d'une figurine dansante par une plage issue d'une photo de lieu, et a remplacé un sac par un autre provenant d'une photo de référence avec des ombres et une lumière solaire correspondantes. À partir d'un simple prompt textuel, il a transformé un fusil en un pistolet à eau jouet, avec du liquide s'agitant à l'intérieur. Demandé de supprimer totalement le fusil, il a laissé des résidus près des palmiers — de quoi tenter une autre prise. Il a également restylé un clip de snowboard en claymation, en bande dessinée rétro et en pixel art à partir d'une seule image restylée pour chaque style, en conservant le mouvement du rider et la caméra.

Deux règles de prompt issues de la leçon : écrivez en anglais, car le modèle est plus stable ainsi, et indiquez uniquement l'intention — ce qu'il faut modifier et ce qu'il faut conserver. Insérez chaque balise de référence là où son élément est nommé.

Trois autres : Genjutsu, Aleph et Kling O1 Edit

Ces trois outils poussent la même idée plus loin : vous téléchargez le clip, décrivez le changement et joignez le nouvel objet comme référence. Aucun d'entre eux ne vous demande de dessiner un masque ; chacun trouve et suit l'objet à partir des mots. C'est plus rapide, mais c'est aussi là qu'ils échouent, comme le montre notre propre travail.

Genjutsu sur un vrai projet : les livres qu'il a trouvés, et les feuilles qu'il a manquées

Notre cas d'étude était un montage de 108 secondes dans lequel plus de dix personnes, chacune filmée séparément, tiennent un livre, une carte ou une feuille de papier vierge, et chacune d'elles devait présenter le même livre vert. Le prompt était explicite : remplacez chaque livre et chaque papier ou carte blanche tenue par le livre vert de la référence, gardez les mains au premier plan, ne changez rien d'autre.

Genjutsu a confondu les livres qu'il a reconnus comme tels. Un participant tenait un livre vert différent, filmé en miroir par une caméra selfie ; le résultat est devenu notre couverture, dans le bon sens, avec le titre, l'emblème de l'arbre et les deux mains intacts.

Cela a laissé chaque feuille blanche telle quelle, bien que le prompt les ait nommées, et cela a manqué un livre bleu dans un segment ultérieur. Un modèle qui trouve l'objet à partir de mots décide par lui-même de ce qui constitue l'objet, et une feuille de papier ne l'a pas été.

Nous avons dû diviser la vidéo en plusieurs coupes et remplacer les objets un par un : une coupe avec un livre, puis des coupes avec des feuilles blanches, chacune montée pour montrer le livre vert que nous voulions.

Runway Aleph 2.0

Runway positionne Aleph comme l'éditeur pour les séquences réelles : remplacez un produit ou un personnage, supprimez un objet, changez l'arrière-plan ou la tenue, modifiez l'éclairage, ajoutez de la météo ou des effets, le tout via une instruction textuelle. Il traite les clips les plus longs des six, jusqu'à 30 secondes avec jusqu'à dix coupes, et propose le tarif le plus clair : 28 crédits par seconde éditée dans l'application, avec un minimum de 56 crédits, ou 0.28 $ la seconde via l'API. Nous ne l'avons pas testé.

Kling O1 Montage

L'éditeur de Kling fonctionne par langage naturel avec jusqu'à quatre références : identifiez un personnage avec @Element1 et une image de style avec @Image1 dans l'instruction, et il conservera le mouvement original tout en remplaçant l'élément nommé. Les clips durent de 3 à 10 secondes, et à 0.168 la seconde sur fal (0.126 pour le forfait Standard), c'est l'éditeur payant le moins cher à la seconde ici. Nous ne l'avons pas testé non plus.

Lequel choisir

1. L'objet est plat et rigide — un livre, un panneau, un écran, une étiquette : suivez ses coins et fixez le remplacement dessus. Pas de modèle, pas de mains redessinées, pas de prix par seconde.
2. Un seul objet doit changer et tout le reste doit rester identique au pixel près — SwitchX, si le clip dure 10 secondes ou moins et que vous pouvez éditer la première image de manière convaincante.
3. Remplacement d'un produit, d'un accessoire ou d'une tenue à partir de photos de référence — Genjutsu, puis vérifiez chaque occurrence qui aurait dû être détectée.
4. Un objet doit être remplacé, supprimé ou ajouté, et vous préférez désigner plutôt que de masquer — Seedance 2.5 Éditeur.
5. Images réelles jusqu'à 30 secondes avec un prix par seconde clair — Aleph ; pour les clips de 10 secondes ou moins où le prix est déterminant, Kling O1 Edit.
6. Vous êtes encore en phase d'exploration, ou le changement concerne l'esthétique globale — Omni Flash, avec quelques régénérations prévues ; c'est suffisamment économique pour que trois essais coûtent moins qu'une seule exécution des autres.

Quel que soit l'éditeur que vous utilisez, recadrez n'importe quel visage dans le plan à taille réelle par rapport à la source avant de conserver la prise. Un montage qui préserve l'objet mais modifie légèrement la personne n'a pas sauvé le plan.

Sources

• SYNTX.AI Academy : « Montage vidéo sélectif dans Seedance », « Comment modifier des éléments individuels dans une vidéo » (Beeble SwitchX) et « Montage vidéo simple avec des prompts » (Omni Flash)
• Higgsfield : Découvrez Genjutsu et la page Genjutsu
• Runway Aleph 2.0 : fonctionnalités et tarifs
• Kling O1 Edit sur fal