Bearbeiten eines einzelnen Objekts in einem Video: sechs Tools im Vergleich

Der Take ist fast perfekt. Die Kamerabewegung stimmt, das Timing passt, die Person ist gut, aber eine Sache ist falsch: ein LKW, wo Sie etwas anderes wollten, ein Obstkorb, der dort nicht hingehört, die falsche Jacke. Die gesamte Einstellung neu zu generieren, um diesen Fehler zu beheben, bedeutet, alles zu verlieren, was bereits gut war. Was Sie brauchen, ist ein Schnitt, der nur ein Objekt verändert und den Rest des Clips unberührt lässt.

Sechs Tools wurden dafür entwickelt. Drei davon enthalten jeweils eine Lektion in der kostenlosen Academy von SYNTX.AI, mit Praxisbeispielen und den in der Benutzeroberfläche angezeigten Preisen. Drei weitere — Higgsfield Genjutsu, Runway Aleph 2.0 und Kling O1 Edit — werden auf den Seiten der Anbieter beschrieben; eines davon haben wir in einem realen Projekt verwendet, wie die untenstehenden Frames zeigen. Alles andere hier haben wir nicht selbst ausgeführt.

Drei Werkzeuge aus den SYNTX-Lektionen

Seedance 2.5 Editor: Markieren, benennen, den Rest behalten

Der Unterrichtsausschnitt zeigt ein Auto, das durch einen belebten Markt rast, geschnitten in drei Varianten. Um zwei Kipper durch laufende Elefanten zu ersetzen, zeigte der Präsentator mit einem Pfeil auf jeden Lkw in einem Frame, in dem beide sichtbar waren, bestätigte die Auswahl und schrieb neben das im Prompt erscheinende Tag: Ersetze die zwei LKWs durch zwei Elefanten an derselben Stelle und lass die anderen Aufnahmen unverändert. Das Auto fährt weiterhin zwischen ihnen hindurch; die Menge, die Regenschirme und die Kamerabewegung bleiben unberührt.

Die Entfernung funktionierte genauso mit einem Rechteck um einen Obstkorb, das im Frame vor dem Umkippen ausgewählt wurde. Der Prompt verlangte, dass der Korb und jede verstreute Frucht verschwinden. Der Hintergrund dahinter musste nicht beschrieben werden; das Modell füllte ihn aus. Für den dritten Schnitt, ein Polizeiauto anstelle des gewöhnlichen Wagens, wurde über die Büroklammer ein Referenzbild eingefügt, wodurch das Auto seine Flugbahn und der Staub hinter den Rädern beibehielt.

Das Muster zum Kopieren: Wählen Sie ein Frame aus, auf dem das Objekt vollständig sichtbar ist, schreiben Sie eine kurze Anweisung in Ihren eigenen Worten und enden Sie immer mit „die anderen Aufnahmen unverändert lassen“. Der Preis stieg von 82.9 auf 132.7 Token an, als die Ausgaberesolution gewählt wurde; die Auflösung ist hier also der entscheidende Kostenfaktor.

Beeble SwitchX: den ersten Frame ändern, den Rest maskieren

SwitchX zeichnet nicht den gesamten Frame neu. Es behält das Original bei und ändert nur das, was die Maske freilässt. Deshalb zeigen die Ergebnisse keine der üblichen Generationsartefakte und warum Objekte neu beleuchtet werden, um ihrer neuen Umgebung zu entsprechen. Die Arbeit findet vor dem Video-Tool statt: Sie bearbeiten den ersten Frame in einem Bildmodell – GPT Image 2 in der Lektion – und SwitchX überträgt diese Änderung durch den gesamten Clip.

• Von Tag zu Nacht bei Heißluftballons: Der erste Frame wurde in einen Nachthimmel mit leuchtenden Ballons verwandelt, mittels der Fill-Maske, die das gesamte Bild abdeckt. Die Ballons fliegen exakt wie zuvor.
• Ein Pferd zu einem weißen Einhorn: die Select-Maske. Weiß markiert, was bleibt, und Schwarz, was neu gezeichnet wird; daher wurde das Pferd umrandet und die Maske invertiert. Der Präsentator hat zudem den Bereich bemalt, in den der Schwanz schwingt, da sonst der alte Schwanz geblieben wäre.
• Ein Feld zu einer Leiste: Der Reiter und das Einhorn sind umrandet und weiß gelassen, sodass sich nur die Umgebung geändert hat.
• Sportkleidung zu einem Anzug: die Umrisslinie, die mit einem Rand um den Körper gezeichnet wurde, da eine zu enge Auswahl manchmal Fehler macht.

Der Prompt spielt hier kaum eine Rolle: eine allgemeine Zeile zur Einstellung genügt. Der bearbeitete Frame übernimmt die Arbeit; je präziser die Änderung dargestellt wird, desto weniger müssen Sie schreiben.

Veo Omni Flash: günstig, schnell, manchmal unsauber

Omni Flash nutzt das Quellvideo und bis zu fünf Referenzbilder oder mehrere Bilder sowie einen kurzen Prompt. Der Vorteil liegt im Preis: 14 Token im Vergleich zu über hundert bei den anderen beiden Optionen. Die Methode ist ehrlich bezüglich der Kosten: Generierungen können manchmal Fehler enthalten, die Lösung ist eine erneute Generierung, was kostengünstig ist.

Es ersetzte den Hintergrund einer tanzenden Figur durch einen Strand aus einem Standortfoto und tauschte eine Tasche gegen eine aus einem Referenzfoto aus, inklusive passender Schatten und Sonnenlicht. Allein durch einen Text-Prompt verwandelte es ein Gewehr in eine Wasserpistole, in der Flüssigkeit schwappte. Bei der Anweisung, das Gewehr ganz zu entfernen, blieben Rückstände bei den Palmen zurück – ein Grund für einen weiteren Take. Zudem wurde ein Snowboard-Clip in Claymation, einen Retro-Comic und Pixel-Art umgewandelt, jeweils basierend auf einem Restyle-Frame, wobei die Bewegung des Fahrers und die Kamera unverändert blieben.

Zwei Prompt-Regeln aus der Lektion: Schreiben Sie auf Englisch, da das Modell darin stabiler arbeitet, und geben Sie nur die Absicht an – was geändert und was beibehalten werden soll. Fügen Sie jedes Referenz-Tag dort ein, wo das entsprechende Element benannt wird.

Drei weitere: Genjutsu, Aleph und Kling O1 Edit

Diese drei gehen die gleiche Idee einen Schritt weiter: Sie laden den Clip hoch, beschreiben die Änderung und fügen das neue Objekt als Referenz hinzu. Keines davon verlangt von Ihnen, eine Maske zu zeichnen; jedes findet und verfolgt das Objekt anhand der Wörter. Das geht schneller, ist aber auch die Schwachstelle, wie unsere eigene Arbeit zeigt.

Genjutsu im echten Job: die gefundenen Bücher und die übersehenen Blätter

Unser Fall war eine 108-sekündige Montage, in der mehr als zehn Personen, die jeweils separat gefilmt wurden, ein Buch, eine Karte oder ein leeres Blatt Papier hochhalten, und jede einzelne davon dasselbe grüne Buch werden musste. Der Prompt war explizit: Ersetze jedes Buch sowie jedes hochgehaltene weiße Papier oder jede Karte durch das grüne Buch aus der Referenz, behalte die Hände im Vordergrund bei, ändere nichts anderes.

Genjutsu hat die Bücher, die es als solche erkannte, vertauscht. Ein Teilnehmer hielt ein anderes grünes Buch, das mit der Selfie-Kamera gespiegelt gefilmt wurde; das Ergebnis war unser Cover, richtig herum, mit dem Titel, dem Baum-Emblem und beiden Händen intakt.

Jedes leere Blatt blieb leer, obwohl sie im Prompt benannt wurden, und in einem späteren Segment wurde ein blaues Buch übersehen. Ein Modell, das Objekte anhand von Wörtern findet, entscheidet selbst, was als Objekt zählt – ein Blatt Papier wurde hier nicht dazu gezählt.

Wir mussten das Video in einzelne Schnitte unterteilen und die Objekte nacheinander ersetzen: einen Schnitt mit einem Buch, dann Schnitte mit leeren Blättern, wobei jeder so bearbeitet wurde, dass das gewünschte grüne Buch zu sehen ist.

Runway Aleph 2.0

Runway positioniert Aleph als Editor für echtes Filmmaterial: Ersetzen Sie ein Produkt oder einen Charakter, entfernen Sie ein Objekt, ändern Sie den Hintergrund oder die Garderobe, passen Sie die Beleuchtung an oder fügen Sie Wetter und Effekte hinzu – alles allein durch eine Textanweisung. Es nutzt die längsten Clips der sechs, bis zu 30 Sekunden mit bis zu zehn Schnitten, und hat den klarsten Preis: 28 Credits pro bearbeiteter Sekunde in der App, bei einem Minimum von 56 Credits, oder $0.28 pro Sekunde über die API. Wir haben es noch nicht getestet.

Kling O1 Edit

Der Editor von Kling arbeitet mit natürlicher Sprache und bis zu vier Referenzen: Markieren Sie einen Charakter als @Element1 und ein Stilbild als @Image1 in der Anweisung; die ursprüngliche Bewegung bleibt erhalten, während die benannten Elemente ausgetauscht werden. Die Clips dauern 3 bis 10 Sekunden. Bei 0.168 pro Sekunde im fal-Tarif (0.126 für den Standard-Tarif) ist dies der günstigste Preis pro Sekunde unter den kostenpflichtigen Editoren hier. Wir haben es selbst noch nicht getestet.

Welches man wählen sollte

1. Das Objekt ist flach und starr — ein Buch, ein Schild, ein Bildschirm, ein Etikett: Verfolgen Sie die Ecken und platzieren Sie das Ersatzobjekt darauf. Kein Modell, keine neu gezeichneten Hände, kein Preis pro Sekunde.
2. Ein Objekt muss sich ändern, während alles andere pixelgenau gleich bleiben muss — SwitchX, wenn der Clip 10 Sekunden oder kürzer ist und Sie den ersten Frame überzeugend bearbeiten können.
3. Austausch von Produkt, Requisite oder Outfit anhand von Referenzfotos — Genjutsu, und anschließend die Überprüfung jeder Instanz, die erfasst haben sollte.
4. Ein Objekt muss ersetzt, entfernt oder hinzugefügt werden, und Sie möchten lieber darauf zeigen, als eine Maske zu erstellen — Seedance 2.5 Editor.
5. Echtes Videomaterial bis zu 30 Sekunden mit einem klaren Preis pro Sekunde — Aleph; für Clips mit 10 Sekunden oder weniger, bei denen der Preis entscheidend ist, Kling O1 Edit.
6. Sie befinden sich noch in der Erkundungsphase oder der gesamte Look soll sich ändern — Omni Flash, mit einem Budget für einige wenige Regenerationen; es ist günstig genug, dass drei Versuche weniger kosten als ein Durchlauf der anderen.

Egal welchen Editor Sie verwenden: Schneiden Sie jedes Gesicht in der Einstellung in voller Größe gegen die Quelle zu, bevor Sie den Take behalten. Ein Schnitt, der das Objekt korrekt lässt, aber die Person leicht verändert, hat die Einstellung nicht gerettet.

Quellen

• SYNTX.AI Academy: „Selektiver Videoschnitt in Seedance“, „So ändern Sie einzelne Elemente in einem Video“ (Beeble SwitchX) und „Einfacher Videoschnitt mit Prompts“ (Omni Flash)
• Higgsfield: Lernen Sie Genjutsu kennen und die Genjutsu-Seite
• Runway Aleph 2.0: Funktionen und Preise
• Kling O1 Edit auf fal