Vervang personen en locaties in bestaande beelden: welke AI-tools behouden de beweging

De testbeelden zijn een 16-seconden commercial met elf montages. De opdracht was om elke montage, camerabeweging en gebaar te behouden en de rest te vervangen: vijf hoofdpersonen, vijf locaties, de merkkleur, en elke ondertitel, logo en zwevende graphic. Elke nieuwe persoon en plaats werd eerst als still gemaakt en goedgekeurd, en elke onderstaande tool kreeg dezelfde stills.

Het resultaat was nodig in 9:16 en in 16:9, wat het werk opsplitst in twee verschillende taken. Vervanging verandert wat er in het beeld staat en moet de beweging behouden. Reframing verandert een voltooide verticale montage in een brede montage door de ontbrekende zijkanten te verzinnen. Deze opmerking vergelijkt beide op hetzelfde beeldmateriaal.

Vervanging: wat de beweging behield

De test is simpel. Speel het resultaat naast de bron af: beweegt elke persoon nog steeds, draait en steekt het frame op hetzelfde moment over, en bleven de montages op dezelfde plek?

Seedance 2.5 hieldt de talking head het beste in onze room and outfit test, dus het falen hier verdient een toelichting. In Dreamina gaat een video plus referentiefoto's door de multimodale modus, die een nieuwe clip genereert op basis van de video. Er is geen edit-switch. De mensen en plaatsen klopten; de performance niet.

Twee routes zijn niet uitgevoerd. H3 Max Recast vervangt alleen mensen, tot maximaal vier, en zou de locaties, de kleur en de tekst hebben laten staan. Kling O3 Edit bouwt elke vervanging rondom één hoofdpersonage, dus een opname met meerdere mensen zou een run per persoon vereisen.

Wan 3.0 heeft korte reeksen nodig

Wan 3.0 accepteert tot 15 seconden bronvideo en tien referentiefoto's, dus de logische stap is één run voor de rest van de clip. We hebben het geprobeerd: zes opnames, negen foto's en een lange lijst instructies, 9.55 seconden in. Wan verving elke persoon, maar sloeg de rest grotendeels over. Ondertiteling, een zwevende app-kaart en de borden en stickers van de oorspronkelijke winkel bleven behouden, en twee locaties behielden hun oorspronkelijke uiterlijk.

Door het op te splitsen in runs van twee opnames, elk met slechts de twee of drie foto's die die opnames nodig hebben, en waarbij elke overgebleven foto in de prompt werd benoemd, kwamen dezelfde opnames strak uit de bus.

Reframing: de verticale cut uitrekken naar 16:9

Het goedkopere idee was om de goedgekeurde verticale montage te behouden en deze uit te breiden (outpainting): plaats het 9:16 frame in het midden van een 16:9 canvas en laat een model de linker- en rechterkant invullen. Het probleem is de geometrie. Een 9:16 frame vult slechts ongeveer een derde van een 16:9 frame, dus twee derde van elke afbeelding is verzonnen.

Dezelfde opname, op vijf manieren

Drie reframes van de verticale opname, gevolgd door dezelfde opname via de twee edit-routes, die vertrokken vanuit de originele horizontale beelden. Alle vijf spelen af op hun eigen resolutie.

Hetzelfde middelste frame van elk resultaat op volledige grootte: de linkerkant, de man aan de toonbank, de rechterkant.

De edits winnen, en het is niet eens een wedstrijd. Een edit begint vanuit een echt breed frame, waardoor de zijkanten echte geometrie, echte diepte en echte mensen hebben. Een reframe moet deze verzinnen, en bij twee derde van het frame wordt de constructie zichtbaar. Reframing is de moeite waard voor kleine toevoegingen, zoals een strook muur of lucht, maar niet om een verticale montage om te zetten naar een horizontale.

Kosten per run

Elke route is geprijsd voor 5 seconden beeldmateriaal tegen de standaard tarieven, zodat de rijen direct vergelijkbaar zijn. Higgsfield credits maken gebruik van het Plus-abonnement met maandelijkse facturatie, $59 voor 1,200 credits. Kling.ai credits maken gebruik van het Standard-abonnement met maandelijkse facturatie, $8.80 voor 660 credits. Tarieven kunnen wijzigen; bekijk fal, Higgsfield en Kling.ai voor de actuele cijfers.

Belangrijkste inzichten

1. Maak eerst de stills. Elke route hierboven gebruikte dezelfde goedgekeurde mensen en plaatsen, wat zorgde voor een consistente cast over verschillende tools en formaten.
2. Controleer of de tool bewerkt en niet opnieuw genereert. Speel het resultaat af naast de bron. Als mensen stilstaan of het kader verandert, was het een nieuwe generatie.
3. Houd elke bewerkingsreeks klein. Twee of drie opnames, alleen de afbeeldingen die die opnames nodig hebben, en elke overgebleven term benoemd in de prompt. Een overbelaste reeks vervangt de personen en slaat de rest stilletjes over.
4. Kies per opname. Kling 4.0 voor locatie-swaps, Wan 3.0 wanneer de menigte op de achtergrond belangrijk is. Beide behouden de montage, zodat de opnames naadloos in elkaar overgaan.
5. Maak elk formaat opnieuw vanuit de bron. Als er een horizontaal origineel bestaat, bewerk dit dan. Bij het outpainten van een verticale cut wordt twee derde van het kader verzonnen.
6. Knip de ongebruikte opnames weg voordat je betaalt. Edits rekenen ook de input-seconden af, dus verwijder de opnames die de uiteindelijke montage niet gebruikt.

De prompt-knoppen tonen de structuur van de prompts die we hebben gebruikt, waarbij de opname-specifieke details zijn vervangen door placeholders tussen vierkante haken.

Remake this 16-second ad as if it were filmed in [new setting]. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

REFERENCES:
- @Image1 replaces [the person in shot A] ([time range]); the place becomes @Image6.
- @Image2 replaces [the person in shot B] ([time range]); the place becomes @Image7.
- ... one line per person and place, with the time ranges where they appear.

PEOPLE: everyone else is [what the extras should look like].
CLOTHING: [the wardrobe rule for extras].
COLOUR PALETTE: replace every [old brand colour] with [new palette]. No [old brand colour] anywhere.
PHONE SCREENS: [what every visible screen shows].
REMOVE COMPLETELY: all subtitles, small legal text, the source logo, floating graphics and all signs and lettering. Add no new text.

Edit [Video 1]: Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

0.0-2.5s: [the person in shot A] becomes the person in [Image: person A] ([outfit]); the place becomes [Image: place A].
2.5-4.8s: [the person in shot B] becomes the person in [Image: person B]; the place becomes [Image: place B]. [The extra who crosses the frame] becomes [description].

Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit @Video1. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

First shot (0.0-2.5s): [the person in shot A] becomes the person in @Image1 ([outfit]); the place becomes [new place] in @Image2.
Second shot (2.5-4.8s): [the person in shot B] becomes the person in @Image3; the place becomes @Image4. [The extra who crosses the frame] becomes [description], with the same walk and timing.

Every other person is [what the extras should look like]. Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit Video 1: keep both shots, the cut, every camera move, hand and body movement and the timing exactly; change only what is listed.

Shot 1 (0.0-1.1s): replace [the person] with the person in Image 1, same face, hair and outfit. Change the [place] into the [new place] in Image 2: [three or four concrete features of the new place]. Remove every sign and sticker: [name each leftover from the source, word for word].
Shot 2 (1.1-2.2s): [the hands, props or screen and what they become]. [Any object that keeps the old colour] becomes [new colour].

Change every [old brand colour] to [new palette]; no [old brand colour] anywhere. Remove all subtitles including [the exact word on screen], floating chips and all lettering; add no new text. Real handheld footage, [light].

Continue the same [place] to the left and right: [materials, fittings and props already visible in the frame], and [what lies beyond it] with a few passers-by. Same camera, light and colour grade as the source. No text, signs or logos.