Eén object in een video bewerken: zes tools vergeleken

De take zit er bijna. De camerabeweging is goed, de timing is goed, de persoon is goed, maar één ding klopt niet: een vrachtwagen waar je iets anders wilde, een mand fruit die er niet hoort te staan, de verkeerde jas. De hele opname opnieuw genereren om dit te herstellen betekent dat je alles verliest wat wel goed was. Wat je wilt, is een montage die één object aanpast en de rest van de clip ongemoeid laat.

Zes tools zijn hiervoor gebouwd. Drie hebben elk een les in de gratis Academy van SYNTX.AI, inclusief uitgewerkte voorbeelden en de prijs die de interface toonde. Drie andere — Higgsfield Genjutsu, Runway Aleph 2.0 en Kling O1 Edit — worden beschreven op de pagina's van de leveranciers, en één daarvan hebben we gebruikt voor een echte opdracht, met de onderstaande frames. De rest hier hebben we niet zelf uitgevoerd.

Drie tools uit de SYNTX-lessen

Seedance 2.5 Editor: markeer het, benoem het, bewaar de rest

De lesclip is een auto die door een drukke markt rijdt, op drie manieren gemonteerd. Om twee vrachtwagens te vervangen door lopende olifanten, wees de presentator met een pijl naar elke vrachtwagen in een frame waar ze allebei zichtbaar waren, bevestigde de selectie en schreef naast de tag die in de prompt verschijnt: vervang de twee vrachtwagens door twee olifanten op dezelfde plek, en houd de andere opnames ongewijzigd. De auto rijdt nog steeds tussen hen door; de menigte, de paraplu's en de camerabeweging blijven onaangetast.

De verwijdering verliep hetzelfde met een rechthoek om een fruitmand, gekozen in het frame voordat deze omvalt. De prompt vroeg om de mand en al het verspreide fruit te verwijderen. De achtergrond hoefde niet beschreven te worden; het model vulde deze zelf in. Voor de derde montage, een politiewagen in plaats van een gewone auto, werd er een referentieafbeelding toegevoegd via de paperclip, waardoor de auto zijn traject en het stof achter de wielen behield.

Het patroon om te kopiëren: selecteer een frame waarin het object volledig zichtbaar is, schrijf één korte instructie in je eigen woorden en eindig altijd met “keep the other shots unchanged”. De prijs steeg van 82.9 naar 132.7 tokens toen de uitvoerresolutie werd gekozen, dus de resolutie is hier de belangrijkste kostenpost.

Beeble SwitchX: verander het eerste frame, maskeer de rest

SwitchX tekent niet het hele frame opnieuw. Het behoudt het origineel en verandert alleen wat de maskering openlaat. Daarom vertonen de resultaten geen gebruikelijke generatiefouten en worden objecten opnieuw belicht om bij de nieuwe omgeving te passen. Het werk vindt plaats vóór de videotool: je bewerkt het eerste frame in een beeldmodel — GPT Image 2 in de les — en SwitchX voert die wijziging door in de hele clip.

• Van dag naar nacht met het luchtballon: het eerste frame veranderde in een nachtelijke hemel met gloeiende ballonnen via de Fill-masker die het hele frame beslaat. De ballonnen vliegen precies zoals voorheen.
• Een paard naar een witte eenhoorn: de Select-masker. Wit markeert wat blijft en zwart wat opnieuw wordt getekend, dus het paard werd omlijnd en het masker werd omgekeerd. De presentator schilderde ook het gebied waar de staart naartoe zwaait, anders zou de oude staart zijn blijven staan.
• Een veld naar een bar: de ruiter en de eenhoorn zijn omlijnd en wit gelaten, zodat alleen de omgeving veranderde.
• Van sportkleding naar een pak: de omlijning getekend met een marge rond het lichaam, omdat een te nauwe selectie soms iets mist.

De prompt doet hier nauwelijks ter zake: één algemene regel over de opname. Het bewerkte frame doet het werk; hoe nauwkeuriger de verandering wordt getoond, hoe minder je hoeft te schrijven.

Veo Omni Flash: goedkoop, snel, soms rommelig

Omni Flash gebruikt de bronvideo en tot vijf referentieafbeeldingen, of meerdere afbeeldingen, en een korte prompt. Het voordeel is de prijs: 14 tokens tegenover ruim honderd voor de andere twee. De les is eerlijk over de prijs die je betaalt: generaties bevatten soms defecten, en de oplossing is opnieuw genereren, wat goedkoop is.

Het verving de achtergrond van een dansend figuurtje door een strand uit een locatiefoto, en verving een tas door een tas uit een referentiefoto met bijpassende schaduwen en zonlicht. Alleen op basis van een tekstprompt veranderde het een geweer in een speelgoedwaterpistool, met klotsende vloeistof erin. Toen er om werd gevraagd het geweer helemaal te verwijderen, bleven er resten achter bij de palmen — een reden voor een nieuwe take. Het veranderde ook een snowboardclip in claymation, een retro strip en pixel art, elk vanuit één restyled frame, waarbij de beweging van de rijder en de camera ongewijzigd bleven.

Twee promptregels uit de les: schrijf in het Engels, omdat het model daar stabieler in is, en geef alleen de intentie aan — wat er moet veranderen en wat behouden moet blijven. Voeg elke referentietag in waar het bijbehorende element wordt genoemd.

Nog drie: Genjutsu, Aleph en Kling O1 Edit

Deze drie gaan nog een stap verder: je uploadt de clip, beschrijft de verandering en voegt het nieuwe object toe als referentie. Geen van deze tools vraagt je om een masker te tekenen; ze vinden en volgen het object op basis van de tekst. Dat is sneller, maar het is ook waar ze falen, zoals ons eigen werk laat zien.

Genjutsu bij een echte opdracht: de boeken die het vond en de bladen die het niet vond

Onze casus was een 108-seconden montage waarin meer dan tien mensen, elk afzonderlijk gefilmd, een boek, een kaart of een blanco vel papier omhoog houden, en elk van hen hetzelfde groene boek moest worden. De prompt was expliciet: vervang elk boek en elk wit papier of kaart dat wordt vastgehouden door het groene boek uit de referentie, houd de handen op de voorgrond, verander verder niets.

Genjutsu verving de boeken die het als boeken herkende. Eén deelnemer hield een ander groen boek vast, gefilmd via een gespiegelde selfiecamera; het resultaat was onze cover, de juiste kant op, met de titel, het boomembleem en beide handen intact.

Het liet elk blanco vel blanco, ook al werden ze in de prompt benoemd, en het miste een blauw boek in een later segment. Een model dat een object op basis van woorden vindt, bepaalt zelf wat als het object telt, en een vel papier telde niet mee.

We moesten de video opdelen in afzonderlijke montages en de objecten één voor één vervangen: een montage met een boek, gevolgd door montages met lege vellen, waarbij elk was bewerkt om het groene boek te tonen dat we wilden.

Runway Aleph 2.0

Runway positioneert Aleph als de editor voor echte beelden: vervang een product of een personage, verwijder een object, verander de achtergrond of kleding, pas belichting aan, voeg weer of effecten toe, alles via een tekstinstructie. Het verwerkt de langste clips van de zes, tot 30 seconden met wel tien montages, en heeft de meest heldere prijs: 28 credits per bewerkte seconde in de app, met een minimum van 56 credits, of $0.28 per seconde via de API. We hebben het nog niet getest.

Kling O1 Edit

De editor van Kling werkt met natuurlijke taal en tot vier referenties: tag een personage als @Element1 en een stijlbeeld als @Image1 in de instructie, en de editor behoudt de oorspronkelijke beweging terwijl de benoemde elementen worden vervangen. Clips duren 3 tot 10 seconden, en met $0.168 per seconde op fal ($0.126 voor het Standard-abonnement) is dit de goedkoopste betaalde editor per seconde hier. We hebben het zelf ook nog niet getest.

Welke moet je kiezen

1. Het object is plat en rigide — een boek, een bord, een scherm, een label: volg de hoeken en zet de vervanging vast. Geen model, geen opnieuw getekende handen, geen prijs per seconde.
2. Eén object moet veranderen en de rest moet pixel-exact blijven — SwitchX, als de clip 10 seconden of korter is en je het eerste frame overtuigend kunt bewerken.
3. Vervanging van een product, rekwisiet of outfit op basis van referentiefoto's — Genjutsu, en controleer daarna elke instantie die het had moeten oppikken.
4. Eén object moet worden vervangen, verwijderd of toegevoegd, en je wilt liever aanwijzen dan maskeren — Seedance 2.5 Editor.
5. Echt beeld tot 30 seconden met een duidelijke prijs per seconde — Aleph; voor clips van 10 seconden of minder waarbij de prijs belangrijk is, Kling O1 Edit.
6. Je bent nog aan het verkennen, of de verandering betreft de hele look — Omni Flash, met een budget voor enkele regeneraties; het is goedkoop genoeg zodat drie pogingen minder kosten dan één run van de anderen.

Welke editor je ook gebruikt, crop elk gezicht in de opname op volledige grootte ten opzichte van de bron voordat je de take bewaart. Een montage waarbij het object klopt maar de persoon er net iets anders uitziet, heeft de opname niet gered.

Bronnen

• SYNTX.AI Academy: “Selectieve videobewerking in Seedance”, “Hoe je individuele elementen in een video verandert” (Beeble SwitchX) en “Eenvoudige videobewerking met prompts” (Omni Flash)
• Higgsfield: Maak kennis met Genjutsu en de Genjutsu-pagina
• Runway Aleph 2.0: functies en prijzen
• Kling O1 Edit op fal