Personen und Orte in vorhandenem Material ersetzen: Welche KI-Tools behalten die Bewegung bei

Das Testmaterial ist ein 16-sekündiger Werbespot mit elf Schnitten. Die Aufgabe bestand darin, jeden Schnitt, jede Kamerabewegung und jede Geste beizubehalten und alles andere zu ersetzen: fünf Hauptpersonen, fünf Orte, die Markenfarbe sowie alle Untertitel, Logos und eingeblendeten Grafiken. Jede neue Person und jeder neue Ort wurde zuerst als Still erstellt und genehmigt, und jedes unten aufgeführte Tool erhielt dieselben Stills.

Das Ergebnis wurde in 9:16 und in 16:9 benötigt, was die Arbeit in zwei verschiedene Aufgaben aufteilt. Replacement verändert den Inhalt des Bildes und muss die Bewegung beibehalten. Reframing verwandelt einen fertigen vertikalen Schnitt in einen Breitbild-Schnitt, indem die fehlenden Seiten ergänzt werden. Dieser Hinweis vergleicht beides am selben Material.

Ersatz: Was die Bewegung beibehielt

Der Test ist einfach. Spielen Sie das Ergebnis neben dem Quellmaterial ab: Bewegen, drehen und durchqueren alle Personen noch immer im selben Moment das Bild, und blieben die Schnitte an derselben Stelle?

Seedance 2.5 hat im Raum- und Outfit-Test das Talking-Head-Ergebnis am besten bewahrt, daher benötigt das Scheitern hier eine Erklärung. In Dreamina durchläuft ein Video plus Referenzbilder den multimodalen Modus, der einen neuen Clip basierend auf dem Video generiert. Es gibt keinen Edit-Schalter. Die Personen und Orte waren korrekt; die Performance hingegen nicht.

Zwei Wege wurden nicht genutzt. H3 Max Recast tauscht nur Personen aus (bis zu vier) und hätte die Schauplätze, die Farben und den Text unverändert gelassen. Kling O3 Edit baut jede Ersetzung um einen Hauptcharakter auf, sodass eine Einstellung mit mehreren Personen einen Durchlauf pro Person erfordern würde.

Wan 3.0 benötigt kurze Serien

Wan 3.0 akzeptiert bis zu 15 Sekunden Quellvideo und zehn Referenzbilder, daher liegt die naheliegende Strategie darin, den Rest des Clips in einem Durchgang zu generieren. Wir haben es getestet: sechs Einstellungen, neun Bilder und eine lange Liste von Anweisungen, nach 9.55 Sekunden. Wan hat jede Person neu gestaltet, aber den Großteil des restlichen Materials ausgelassen. Untertitel, eine schwebende App-Karte sowie die Schilder und Aufkleber des ursprünglichen Ladens blieben erhalten, und zwei Schauplätze behielten ihren ursprünglichen Look.

Aufgeteilt in Durchläufe von zwei Einstellungen, jeweils nur mit den zwei oder drei Bildern, die diese Einstellungen benötigen, und wobei jedes verbleibende Element im Prompt benannt wurde, kamen dieselben sauberen Einstellungen heraus.

Reframing: Vertikalen Schnitt auf 16:9 dehnen

Die kostengünstigere Idee war, den genehmigten vertikalen Schnitt beizubehalten und ihn per Outpainting zu erweitern: Man platziert den 9:16-Rahmen in die Mitte einer 16:9-Leinwand und lässt ein Modell die linke und rechte Seite malen. Die Schwierigkeit liegt in der Geometrie. Ein 9:16-Rahmen füllt nur etwa ein Drittel eines 16:9-Rahmens aus, sodass zwei Drittel jedes Bildes erfunden sind.

Dieselbe Einstellung, fünf Varianten

Drei Reframes der vertikalen Einstellung, dann dieselbe Einstellung über die zwei Edit-Routen, die vom ursprünglichen horizontalen Material ausgingen. Alle fünf laufen in ihrer nativen Auflösung ab.

Derselbe mittlere Frame jedes Ergebnisses in voller Größe: die linke Seite, der Mann am Tresen, die rechte Seite.

Die Schnitte gewinnen deutlich. Ein Schnitt geht von einem echten Weitwinkelbild aus, sodass die Seiten echte Geometrie, echte Tiefe und echte Menschen aufweisen. Ein Reframe muss diese erfinden, und bei zwei Dritteln des Bildes wird die Erfindung sichtbar. Reframing lohnt sich für kleine Ergänzungen, wie einen Streifen Wand oder Himmel, aber nicht, um einen vertikalen Schnitt in einen horizontalen zu verwandeln.

Kosten pro Durchgang

Jeder Pfad ist auf 5 Sekunden Videomaterial zu Standardlistenpreisen kalkuliert, sodass die Zeilen direkt vergleichbar sind. Higgsfield Credits nutzen den monatlich abgerechneten Plus-Plan, $59 für 1,200 Credits. Kling.ai Credits nutzen den monatlich abgerechneten Standard-Plan, $8.80 für 660 Credits. Die Preise können sich ändern; prüfen Sie fal, Higgsfield und Kling.ai für aktuelle Zahlen.

Was man daraus lernt

1. Erstellen Sie zuerst die Stills. Jeder oben genannte Weg nutzte dieselben genehmigten Personen und Orte, wodurch die Besetzung über verschiedene Tools und Formate hinweg konsistent blieb.
2. Prüfen Sie, ob das Tool bearbeitet oder neu generiert. Spielen Sie das Ergebnis neben der Quelle ab. Wenn Personen stillstehen oder sich der Bildausschnitt ändert, handelt es sich um eine neue Generierung.
3. Halten Sie jede Bearbeitungsserie klein. Zwei oder drei Aufnahmen, nur die Bilder, die diese Aufnahmen benötigen, und jedes im Prompt genannte Überbleibsel. Eine überladene Serie besetzt die Personen neu und lässt den Rest stillschweigend aus.
4. Wählen Sie pro Einstellung. Kling 4.0 für Standortwechsel, Wan 3.0, wenn die Menschenmenge im Hintergrund wichtig ist. Beide behalten die Schnitte bei, sodass die Einstellungen sauber ineinander übergehen.
5. Erstellen Sie jedes Format aus seiner Quelle neu. Wenn ein horizontales Original existiert, bearbeiten Sie es. Beim Outpainting eines vertikalen Schnitts werden zwei Drittel des Bildes neu erfunden.
6. Schneiden Sie ungenutzte Aufnahmen vor der Zahlung heraus. Edits berechnen auch die Input-Sekunden, also entfernen Sie die Aufnahmen, die der finale Schnitt nicht verwendet.

Die Prompt-Buttons zeigen die Struktur der verwendeten Prompts, wobei die einstellungsspezifischen Details durch Platzhalter in eckigen Klammern ersetzt wurden.

Remake this 16-second ad as if it were filmed in [new setting]. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

REFERENCES:
- @Image1 replaces [the person in shot A] ([time range]); the place becomes @Image6.
- @Image2 replaces [the person in shot B] ([time range]); the place becomes @Image7.
- ... one line per person and place, with the time ranges where they appear.

PEOPLE: everyone else is [what the extras should look like].
CLOTHING: [the wardrobe rule for extras].
COLOUR PALETTE: replace every [old brand colour] with [new palette]. No [old brand colour] anywhere.
PHONE SCREENS: [what every visible screen shows].
REMOVE COMPLETELY: all subtitles, small legal text, the source logo, floating graphics and all signs and lettering. Add no new text.

Edit [Video 1]: Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

0.0-2.5s: [the person in shot A] becomes the person in [Image: person A] ([outfit]); the place becomes [Image: place A].
2.5-4.8s: [the person in shot B] becomes the person in [Image: person B]; the place becomes [Image: place B]. [The extra who crosses the frame] becomes [description].

Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit @Video1. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

First shot (0.0-2.5s): [the person in shot A] becomes the person in @Image1 ([outfit]); the place becomes [new place] in @Image2.
Second shot (2.5-4.8s): [the person in shot B] becomes the person in @Image3; the place becomes @Image4. [The extra who crosses the frame] becomes [description], with the same walk and timing.

Every other person is [what the extras should look like]. Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit Video 1: keep both shots, the cut, every camera move, hand and body movement and the timing exactly; change only what is listed.

Shot 1 (0.0-1.1s): replace [the person] with the person in Image 1, same face, hair and outfit. Change the [place] into the [new place] in Image 2: [three or four concrete features of the new place]. Remove every sign and sticker: [name each leftover from the source, word for word].
Shot 2 (1.1-2.2s): [the hands, props or screen and what they become]. [Any object that keeps the old colour] becomes [new colour].

Change every [old brand colour] to [new palette]; no [old brand colour] anywhere. Remove all subtitles including [the exact word on screen], floating chips and all lettering; add no new text. Real handheld footage, [light].

Continue the same [place] to the left and right: [materials, fittings and props already visible in the frame], and [what lies beyond it] with a few passers-by. Same camera, light and colour grade as the source. No text, signs or logos.