Ein neues Zimmer und Outfit für einen Talking Head: Nur Seedance 2.5 behielt die Person bei.

Das Videomaterial ist die häufigste Art von Material, die Creator haben: ein 48-sekündiges vertikales Selfie, das Handy in ausgestrecktem Arm, ein schlichter Raum im Hintergrund, ein fliederfarbenes T-Shirt, natürliche Gesten und Sprache auf Russisch. Das Ziel war es, dieselbe Sprecherin in ein gemütliches Wohnzimmer am Abend zu versetzen, in einem maßgeschneiderten blauen Blazer, ohne das zu verändern, was den Clip zu ihrem macht: das Gesicht, die Haare, jede Geste, die Mundbewegungen und die Stimme.

Das schließt vieles aus. Der Zuschauer blickt direkt in ein sprechendes Gesicht; schon wenige Frames, in denen der Mund nicht zu den Worten passt oder das Gesicht glattgebügelt wurde, sodass es einer anderen Person ähnelt, reichen aus, um die Aufmerksamkeit zu verlieren. Die folgenden Clips sind absichtlich ohne Ton: Die Sprache ist Russisch, und entscheidend ist hier nur das Visuelle.

Der erfolgreiche Prozess

1. Wählen Sie zuerst ein kurzes Teststück. Wir schneiden fünf Sekunden (35.4–40.4 s) aus der Handydatei, konvertiert von 4K mit 120 fps zu 1080×1920 mit 30 fps, wobei der Ton beibehalten wird. Testen Sie fünf Sekunden, bevor Sie für achtundvierzig bezahlen.
2. Bereiten Sie ein Referenzbild des Ziel-Looks vor. Ein einzelner Frame derselben Person, die bereits das neue Outfit und den neuen Raum trägt. Ein Bild kann sowohl die Garderobe als auch den Ort enthalten, solange der Prompt besagt, dass nichts anderes definiert wird.
3. Starten Sie Seedance 2.5 im Videobearbeitungsmodus. Der Quellclip dient als Video-Referenz, das Standbild als Bild-Referenz und der Prompt ist als Bearbeitungsbefehl formuliert: was sich ändert, was das Master-Element ist und was sich nicht bewegen darf. Generierter Ton ist ausgeschaltet.
4. Prüfen Sie die Länge. Unsere 5.00-sekündige Quelle ergab 4.71 Sekunden, wobei die Bewegung etwa 6% zu schnell war. Nach dem Zurückdehnen auf 5.00 s stimmten die Gesten innerhalb von zwei Frames mit der Quelle überein.
5. Bringen Sie die Originalstimme zurück. Die eigene Aufnahme des Sprechers wird über das zeitlich angepasste Bild gelegt, sodass die Stimme niemals eine Rekonstruktion ist.
6. Überprüfen Sie das Gesicht in voller Größe, dann die Lippen mit Ton. Schneiden Sie das Gesicht bei 1:1 gegen die Quelle zu, bevor Sie es abschließen. Overlays, Untertitel und Einblendungen werden nachträglich in der Montage hinzugefügt und niemals durch das Modell geschickt.

Benötigte Inputs

• Der Quellclip muss mindestens 4 Sekunden und darf pro Durchgang höchstens 30 Sekunden lang sein (längere Takes aufteilen).
• Ein Referenzbild des Zieloutfits und des Raums, idealerweise mit derselben Person darauf.
• Das Original-Audio, das beiseitegelegt wurde, um es später wieder auf das Ergebnis aufzulegen.
• Die gesprochene Sprache, damit die Mundbewegungen der richtigen Phonetik folgen.
• Eine einfache Liste dessen, was erhalten bleiben muss (Gesicht, Haar, Hände, Timing) und was weg muss (der alte Raum, die alte Kleidung, alles, was an der Wand steht).

Route 1: Echtes Videomaterial umgestalten

Dieser Weg bewahrt die aufgezeichnete Performance und zeichnet nur das neu, was sich ändern soll. Wir haben dies mit zwei Higgsfield-Modellen mit demselben fünfsekündigen Clip und demselben Referenz-Standbild getestet.

Quelle

Telefonaufnahme

Der Input: ein schlichter Raum, ein fliederfarbenes T-Shirt, natürliche Gesten, Handkamera-Selfie-Bewegung.

Referenz

Zielraum und Outfit

Die Referenz, die beide Takes erhalten haben: Sie definiert das Outfit und den Raum, sonst nichts.

Take A · ausgewählt

Seedance 2.5 Videoschnitt

Sowohl der Raum als auch das Outfit wurden geändert; das Gesicht behält seine Linien und Hautstruktur bei, und das Blinzeln, die Mundformen sowie die Handgesten entsprechen denen der Quelle. Wir haben das Ergebnis zeitlich angepasst, bevor wir die Originalstimme hinzugefügt haben.

Prompt anzeigen

Take B

Higgsfield Genjutsu

Motion Transfer kopiert die Performance präzise und fügt den Blazer hinzu, aber der alte Raum bleibt bestehen, und das Gesicht wirkt glatter und weniger wie das Original. Genjutsu benötigt keinen Prompt.

Seedance 2.5 ist das Modell, das zu verwenden ist, wenn eine reale Person im Bild bleibt. Es war das einzige, das den Raum und die Kleidung änderte, während das Gesicht auch in voller Größe erkennbar blieb. Genjutsu hat nur die halbe Arbeit geleistet und das Gesicht weichgezeichnet. Wir haben den Genjutsu-Clip zudem mit ByteDance Video Upscale von 720p auf 1080p hochskaliert: Der Upscaler erfindet Wimpern und Texturen hinzu, was bei einem Gesicht, das bereits leicht abgewichen war, das Ergebnis verschlechterte statt verbesserte. Upscaling kann ein schwächeres Modell nicht korrigieren.

Der Modus ist ebenso wichtig wie das Modell. Unsere ersten zwei Seedance 2.5 Versuche nutzten den Referenz-(Omni)-Modus mit dem angehängten Clip als Videoreferenz. Beide scheiterten nach etwa 45 Sekunden und wurden erstattet, ohne dass über die API ein Grund genannt wurde. Die Higgsfield-Webseite lieferte die Antwort: Ihr Prompt sieht wie eine Anforderung für den Videoschnitt aus. Wechseln Sie in den Video-Edit-Modus, damit das Ergebnis Ihrem Eingabevideo entspricht. Im Video-Edit-Modus war die Aufgabe beim ersten Versuch erfolgreich. Video Edit wird nach der Länge des Quellclips abgerechnet: 38 Credits für fünf Sekunden bei 720p.

Route 2: Person ausschneiden und compositen

Der günstigere Weg zeichnet die Person nicht neu. Ein Matting-Modell ermittelt, welche Pixel zur sprechenden Person gehören; die ursprünglichen Pixel werden dann mit ffmpeg über einen neuen Hintergrund gelegt. Wir haben drei Anbieter anhand eines siebensekündigen Ausschnitts derselben Aufnahme verglichen, wobei eine Stadtansicht aus einem Fenster als neuer Hintergrund diente. Dieser Ausschnitt enthält drei kleine eingefügte Video-Overlays, wie sie im Input erschienen sind.

Die Schwachstelle jeder Freistellung ist dieselbe: feine Haare vor einer hellen Wand. Jedes Ergebnis behält etwas vom alten Raum zwischen den Strähnen, was als Halo-Effekt gegen einen neuen Himmel wirkt. Eingefügte Overlays sind die zweite Falle: Ein Matting-Modell kennt nur die Person und alles andere, also lassen Sie Overlays aus dem Clip heraus, den Sie senden, und fügen Sie diese in der Montage wieder hinzu.

Route 3: Den Sprecher aus einem Foto regenerieren

Der dritte Weg verwirft das Videomaterial und animiert ein einzelnes Foto mit der Originalstimme. Wir haben zwei Avatar-Modellen dasselbe Standbild der Sprecherin an einem Yachthafen am See und die ersten 5.55 Sekunden ihrer aufgenommenen Sprache gegeben, endend bei einer natürlichen Pause.

Quellfoto

Porträt von Marina

Das einzelne Foto, bei dem beide Avatar-Modelle mit der eigenen Stimme des Sprechers animiert werden.

Avatar 1

OmniHuman 1.5

Lebendige Kopf- und Mundbewegungen, aber die Haut ist geglättet und sie sieht etwas jünger aus. $0.89 auf fal, 3 Minuten.

Prompt anzeigen

Avatar 2

Kling AI Avatar v2 Pro

Näher am Foto, mit erhaltenen Sommersprossen und Texturen sowie einem glaubwürdigen Handkamera-Schwanken. 0.83 $ bei fal, 7 Minuten.

Beide behalten die echte Stimme bei, da nur das Gesicht dazu animiert wird. Was sie nicht beibehalten können, ist die echte Performance: Jede Geste und jede Kopfbewegung ist erfunden. Das eignet sich für eine neue Ansprache in die Kamera, aber es ist ein anderes Video, nicht das Original in einem neuen Raum.

Die Vorlage

Dies ist die vollständige Restyle-Vorlage in ihrer allgemeinsten Form: Sie kann den Raum, den Kleiderschrank und die Haare ersetzen, ausgewählte Requisiten aus der Quelle beibehalten und einen Take in mehrere Einstellungen umschneiden. Füllen Sie die Platzhalter in Klammern aus und löschen Sie alles, was für Ihre Aufgabe nicht benötigt wird. Reichen Sie dies auf Higgsfield im Seedance 2.5 Video Edit Modus ein.

• Behalten Sie das Haar des Sprechers bei: Erstellen Sie nur @Look Garderobe.
• Nichts aus dem alten Raum behalten: Die Zeile mit den Requisiten löschen.
• Eine einzige, durchgehende Aufnahme, wie zum Beispiel ein Selfie: Verwenden Sie nur eine einzige Bühne und löschen Sie die Zeilen über neue Winkel und Einstellungsgrößen.
• Handy-Aufnahmen: Ersetzen Sie die Zeile „Cinema-Kamera-Stil“ durch „fotorealistisches Handyvideo passend zur Quelle“, andernfalls wird das Ergebnis nicht zum Rest der Aufnahme passen.
• Die Originalstimme: Schalten Sie den generierten Ton aus und legen Sie die Aufnahme nachträglich wieder darüber.

[Edit Goal]
Edit @Video 1. For the entire video, replace the room behind the woman and replace her lilac T-shirt with a blazer outfit.

[Source Video Role]
@Video 1 is the sole editing master. It defines the woman: her face, skin, freckles, eye colour, hair, expression, every blink and every mouth shape of her Russian speech, her hand gestures, her position and size in frame, the handheld selfie camera movement, the audio, and the timing of everything.

[Target Material Role]
@Image 1 defines only two things. Her clothing: a tailored dusty-blue blazer with wide peak lapels over a matching V-neck waistcoat with buttons. The room: a cosy warm living room in the evening, a large framed landscape painting in gold, ochre and soft blue on the left, a table lamp with a cream shade glowing on a wooden sideboard, built-in shelves on the right lit by warm strip lights with dark ceramic vases and books. Do not use the woman's face, hairstyle or pose from @Image 1.

[Edit Scope]
Modify only the background outside her silhouette, and her clothing below the neck. Allow the warm lamp light of the new room to fall naturally on her face, hair and blazer. Do not modify her identity, facial features, freckles, eye colour, hairstyle, expression, mouth movement, hands, position, size or motion.

[Timeline Inheritance]
The blazer moves exactly as the T-shirt did, following every shoulder and arm movement, and her hands pass in front of it at the same moments. Keep all her actions, gestures and the camera movement from @Video 1 unchanged, frame by frame. Exactly one person. No on-screen text or logos.

[Content to Preserve]
Keep her face, hair, expression, lip movement, gestures, camera framing and sway, timing and the original audio from @Video 1.

A woman talks directly to the camera in a handheld selfie video on a sunny lakeside marina. Natural, relaxed delivery: small head nods and tilts, lively eyebrows, natural blinks, subtle shoulder movement, slight handheld camera sway as if she holds the phone at arm's length. Her hair moves lightly in the breeze; boats rock gently on the water behind her. Her face, hair and striped shirt stay exactly as in the photo. Realistic skin, natural daylight.

Inputs: the marina photo as the image, the speaker's own recording (0–5.55 s) as the audio. OmniHuman 1.5 at 720p.

@Source is <SOURCE>, the master motion track. This is a restyle of <SOURCE>, not a new performance: <HERO>'s face, body, pose, every movement of head, hands and fingers, every gesture, every object touched, speech timing and mouth shapes are copied from <SOURCE> frame by frame, at exactly the same seconds, same speed, same direction, same hand. Ignore from <SOURCE>: [FILL IN: what to remove from the source video, such as the old room, furniture, clothing, hairstyle].
<SOURCE> also defines <PROPS>, identical in every shot: [FILL IN: objects from the source to keep, each one separately: what it is, colour, material, where it stands. IF THERE IS NOTHING TO KEEP, DELETE THIS WHOLE LINE]. Exactly one of each object.
@Location is <LOCATION>: [FILL IN: the new location: furniture, where the hero is, lamps and windows, walls, decor]. Carry this geometry identically. Ignore its camera angle.
@Look is <LOOK>, wardrobe and hair only: [FILL IN: clothing from top to bottom, accessories, shoes; hairstyle: length, shape, styling]. Not the face. Ignore the background and any text on the reference.

[Blocking]
<HERO> takes the same position as in <SOURCE>, now [FILL IN: where the hero is in the new location, for example sitting in an armchair or standing by the window], with [FILL IN: what is behind the hero] behind. Scale and distances stay as in <SOURCE>.

[Stages]
Stage 1 ([FILL IN: timecode, for example 0–4] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 2 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 3 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.

[Maintain consistency]
Every movement matches <SOURCE> at the same timecode; nothing is added, skipped, slowed or sped up. In new angles, the same movements are seen from the new angle. <HERO> talks exactly as in <SOURCE> in every shot, the mouth never still while <SOURCE> has speech. Exactly one person. The face matches <SOURCE> from every angle, [FILL IN: any change to the face, for example fully clean-shaven, OR DELETE], with visible pores and dry matte skin, never plastic. Wardrobe and hair match <LOOK> in every shot. Every shot differs in size or angle from the one before. Static stages have no pan, no zoom and no drift. No on-screen text, subtitles or logos.

[Lighting]
[FILL IN: time of day, for example Evening, no daylight]. Key: [FILL IN: the main light source: what it is, where it is in frame, its colour]. Fill: [FILL IN: the second light source: what, where, colour]. Light and shadows on <HERO> come from the light sources of <LOCATION>, with soft contact shadows. <HERO> belongs to the room, never pasted over it.

[Style]
Photoreal live action, real cinema camera, shallow focus, natural motion blur, [FILL IN: colour grade, for example a warm cosy grade], fine film grain. No CGI look, no sharpening, no HDR.

[Audio]
Dialogue language: [FILL IN: the spoken language]. The soundtrack is the original audio of <SOURCE>, unchanged: same voice, words, intonation and timing, with mouth shapes matching [FILL IN: the spoken language] phonetics. No music, no added sounds.