Een nieuwe kamer en outfit voor een talking head: alleen Seedance 2.5 hield de persoon vast

De beelden zijn het meest voorkomende type dat een maker heeft: een verticale selfie van 48 seconden, telefoon op armlengte, een eenvoudige kamer op de achtergrond, een lila T-shirt, natuurlijke gebaren en spraak in het Russisch. Het doel was om dezelfde spreker in een warme avondwoonkamer te plaatsen, gekleed in een op maat gemaakte blauwe blazer, zonder de essentie van de clip aan te tasten: het gezicht, het haar, elk gebaar, de mondbewegingen en de stem.

Dat sluit veel uit. De kijker kijkt recht in een gezicht dat praat, dus een paar frames waarin de mond niet matcht met de woorden, of een gezicht dat te glad is gestreken waardoor het op iemand anders lijkt, is genoeg om de aandacht te verliezen. De onderstaande clips hebben expres geen geluid: de taal is Russisch, en het gaat hier om wat je kunt zien.

Het proces dat werkte

1. Kies eerst een kort testfragment. We knippen vijf seconden (35.4–40.4 s) uit het telefoonbestand, geconverteerd van 4K op 120 fps naar 1080×1920 op 30 fps, met behoud van het geluid. Test vijf seconden voordat je betaalt voor achtenveertig.
2. Bereid één referentiebeeld voor van de gewenste look. Eén enkel frame van dezelfde persoon, maar dan al in de nieuwe outfit en de nieuwe kamer. Eén afbeelding kan zowel de kleding als de locatie bevatten, zolang de prompt maar aangeeft dat er niets anders wordt gedefinieerd.
3. Start Seedance 2.5 in de Video Edit-modus. De bronclip is de videoreferentie, de stilstaande afbeelding is de beeldreferentie, en de prompt is geschreven als een montage-instructie: wat verandert, wat is het meesterbestand, en wat mag niet bewegen. Gegenereerd geluid staat uit.
4. Controleer de lengte. Onze 5.00-seconden bron kwam uit op 4.71 seconden; de beweging speelde ongeveer 6% te snel af. Na het uitrekken naar 5.00 s, kwamen de gebaren binnen twee frames overeen met de bron.
5. Breng de originele stem terug. De eigen opname van de spreker wordt over de aangepaste beelden gelegd, zodat de stem nooit een reconstructie is.
6. Controleer het gezicht op volledige grootte, en daarna de lippen met geluid. Snijd het gezicht bij 1:1 tegen de bron voordat je het als klaar beschouwt. Overlays, ondertiteling en inserts worden achteraf in de montage toegevoegd en worden nooit door het model gehaald.

Benodigde inputs

• De bronclip moet minimaal 4 seconden en maximaal 30 seconden per run zijn (verdeel langere takes).
• Een referentiefoto van de beoogde outfit en kamer, bij voorkeur met dezelfde persoon erop.
• De originele audio, apart gehouden om later weer over het resultaat te leggen.
• De gesproken taal, zodat de mondbewegingen de juiste fonetiek volgen.
• Een eenvoudige lijst van wat behouden moet blijven (gezicht, haar, handen, timing) en wat weg moet (de oude kamer, de oude kleding, alles wat op de muur geprint staat).

Route 1: de echte beelden restylen

Deze route behoudt de opgenomen prestatie en tekent alleen opnieuw wat moet veranderen. We hebben dit uitgevoerd op twee Higgsfield-modellen met dezelfde clip van vijf seconden en hetzelfde referentiebeeld.

Bron

Telefoonopname

De input: een eenvoudige kamer, een lila T-shirt, natuurlijke gebaren, handgehouden selfie-beweging.

Referentie

Doelruimte en outfit

De referentie die beide takes ontvingen: deze bepaalt de outfit en de kamer, niets anders.

Take A · geselecteerd

Seedance 2.5 Videomontage

Zowel de kamer als de outfit zijn veranderd; het gezicht behoudt de lijnen en huidtextuur, en het knipperen, de mondvormen en handgebaren komen overeen met de bron. We hebben de timing van de output aangepast voordat we de originele stem toevoegden.

Prompt bekijken

Take B

Higgsfield Genjutsu

Motion transfer kopieert de uitvoering nauwkeurig en voegt de blazer toe, maar de oude kamer blijft staan en het gezicht wordt gladder en lijkt minder op de bron. Genjutsu heeft geen prompt nodig.

Seedance 2.5 is het model dat je gebruikt wanneer een echt persoon in beeld blijft. Het was de enige die de kamer en de kleding veranderde, terwijl het gezicht op volledige grootte herkenbaar bleef. Genjutsu deed de helft van het werk en verzachtte het gezicht. We hebben de Genjutsu-clip ook opgeschaald van 720p naar 1080p met ByteDance Video Upscale: de upscaler verzint wimpers en texturen, en bij een gezicht dat al was afgeweken, maakte dit het resultaat slechter in plaats van beter. Upscalen repareert een zwakker model niet.

De modus is net zo belangrijk als het model. Onze eerste twee Seedance 2.5 takes gebruikten de referentie (omni) modus met de clip als videoreferentie bijgevoegd. Beide mislukten na ongeveer 45 seconden en werden terugbetaald, zonder reden via de API. De Higgsfield webpagina gaf het antwoord: Je prompt lijkt op een verzoek voor videobewerking. Schakel over naar de Video Edit-modus zodat het resultaat de inputvideo volgt. In de Video Edit-modus lukte dezelfde opdracht bij de eerste poging. Video Edit wordt gefactureerd op basis van de lengte van de bronclip: 38 credits voor vijf seconden op 720p.

Route 2: de persoon uitknippen en compositen

De goedkopere route tekent de persoon nooit opnieuw. Een matting-model bepaalt welke pixels bij de spreker horen; de originele pixels worden vervolgens met ffmpeg over een nieuwe achtergrond gelegd. We hebben drie aanbieders vergeleken met een fragment van zeven seconden van dezelfde opname, met een stadsgezicht vanuit een raam als nieuwe achtergrond. Dit fragment bevat drie kleine ingevoegde video-overlays, zoals ze in de input verschenen.

Het zwakke punt van elke cutout is hetzelfde: fijn haar tegen een lichte muur. Elk resultaat behoudt wat van de oude kamer tussen de haren, wat als een halo tegen een nieuwe lucht verschijnt. Toegevoegde overlays zijn de tweede valkuil: een matting-model herkent alleen de persoon en de rest niet, dus houd overlays buiten de clip die je verstuurt en voeg ze later in de montage weer toe.

Route 3: regenereer de spreker vanuit één foto

De derde route gooit de beelden weg en animeert een enkele foto met de originele stem. We gaven twee avatar-modellen dezelfde stilstaande foto van de spreker bij een jachthaven aan het meer en de eerste 5.55 seconden van haar opgenomen spraak, eindigend op een natuurlijke pauze.

Bronfoto

Portret van Marina

De enkele foto waarbij beide avatar-modellen geanimeerd zijn, met de eigen stem van de spreker.

Avatar 1

OmniHuman 1.5

Levendige hoofd- en mondbewegingen, maar de huid is gladgestreken en ze ziet er iets jonger uit. $0.89 op fal, 3 minuten.

Prompt bekijken

Avatar 2

Kling AI Avatar v2 Pro

Dichter bij de foto, met behoud van sproeten en textuur en een geloofwaardige handgehouden beweging. $0.83 op fal, 7 minuten.

Beiden behouden de echte stem, omdat alleen het gezicht erop wordt geanimeerd. Wat ze niet kunnen behouden is de echte prestatie: elke beweging en hoofdbeweging is verzonnen. Dat past bij een nieuwe opname recht in de camera, maar het is een andere video, niet de originele in een nieuwe ruimte.

Het sjabloon

Dit is het volledige restyle-template in zijn meest algemene vorm: het kan de kamer, de kledingkast en het haar vervangen, de gekozen attributen uit de bron behouden en één take herverdelen in verschillende opnames. Vul de tekst tussen haakjes in en verwijder wat je niet nodig hebt voor je opdracht. Dien het op Higgsfield in via de Seedance 2.5 Video Edit-modus.

• Het haar van de spreker behouden: maak alleen @Look garderobe.
• Niets bewaren uit de oude kamer: verwijder de regel met attributen.
• Eén continue take, zoals een selfie: gebruik één fase en verwijder de regels over nieuwe hoeken en opnameformaten.
• Telefoonbeelden: vervang de regel over de cinema-camera stijl door "fotorealistische telefoonvideo die overeenkomt met de bron", anders sluit het resultaat niet aan bij de rest van de opname.
• De originele stem: schakel gegenereerd geluid uit en voeg de opname er achteraf weer aan toe.

[Edit Goal]
Edit @Video 1. For the entire video, replace the room behind the woman and replace her lilac T-shirt with a blazer outfit.

[Source Video Role]
@Video 1 is the sole editing master. It defines the woman: her face, skin, freckles, eye colour, hair, expression, every blink and every mouth shape of her Russian speech, her hand gestures, her position and size in frame, the handheld selfie camera movement, the audio, and the timing of everything.

[Target Material Role]
@Image 1 defines only two things. Her clothing: a tailored dusty-blue blazer with wide peak lapels over a matching V-neck waistcoat with buttons. The room: a cosy warm living room in the evening, a large framed landscape painting in gold, ochre and soft blue on the left, a table lamp with a cream shade glowing on a wooden sideboard, built-in shelves on the right lit by warm strip lights with dark ceramic vases and books. Do not use the woman's face, hairstyle or pose from @Image 1.

[Edit Scope]
Modify only the background outside her silhouette, and her clothing below the neck. Allow the warm lamp light of the new room to fall naturally on her face, hair and blazer. Do not modify her identity, facial features, freckles, eye colour, hairstyle, expression, mouth movement, hands, position, size or motion.

[Timeline Inheritance]
The blazer moves exactly as the T-shirt did, following every shoulder and arm movement, and her hands pass in front of it at the same moments. Keep all her actions, gestures and the camera movement from @Video 1 unchanged, frame by frame. Exactly one person. No on-screen text or logos.

[Content to Preserve]
Keep her face, hair, expression, lip movement, gestures, camera framing and sway, timing and the original audio from @Video 1.

A woman talks directly to the camera in a handheld selfie video on a sunny lakeside marina. Natural, relaxed delivery: small head nods and tilts, lively eyebrows, natural blinks, subtle shoulder movement, slight handheld camera sway as if she holds the phone at arm's length. Her hair moves lightly in the breeze; boats rock gently on the water behind her. Her face, hair and striped shirt stay exactly as in the photo. Realistic skin, natural daylight.

Inputs: the marina photo as the image, the speaker's own recording (0–5.55 s) as the audio. OmniHuman 1.5 at 720p.

@Source is <SOURCE>, the master motion track. This is a restyle of <SOURCE>, not a new performance: <HERO>'s face, body, pose, every movement of head, hands and fingers, every gesture, every object touched, speech timing and mouth shapes are copied from <SOURCE> frame by frame, at exactly the same seconds, same speed, same direction, same hand. Ignore from <SOURCE>: [FILL IN: what to remove from the source video, such as the old room, furniture, clothing, hairstyle].
<SOURCE> also defines <PROPS>, identical in every shot: [FILL IN: objects from the source to keep, each one separately: what it is, colour, material, where it stands. IF THERE IS NOTHING TO KEEP, DELETE THIS WHOLE LINE]. Exactly one of each object.
@Location is <LOCATION>: [FILL IN: the new location: furniture, where the hero is, lamps and windows, walls, decor]. Carry this geometry identically. Ignore its camera angle.
@Look is <LOOK>, wardrobe and hair only: [FILL IN: clothing from top to bottom, accessories, shoes; hairstyle: length, shape, styling]. Not the face. Ignore the background and any text on the reference.

[Blocking]
<HERO> takes the same position as in <SOURCE>, now [FILL IN: where the hero is in the new location, for example sitting in an armchair or standing by the window], with [FILL IN: what is behind the hero] behind. Scale and distances stay as in <SOURCE>.

[Stages]
Stage 1 ([FILL IN: timecode, for example 0–4] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 2 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 3 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.

[Maintain consistency]
Every movement matches <SOURCE> at the same timecode; nothing is added, skipped, slowed or sped up. In new angles, the same movements are seen from the new angle. <HERO> talks exactly as in <SOURCE> in every shot, the mouth never still while <SOURCE> has speech. Exactly one person. The face matches <SOURCE> from every angle, [FILL IN: any change to the face, for example fully clean-shaven, OR DELETE], with visible pores and dry matte skin, never plastic. Wardrobe and hair match <LOOK> in every shot. Every shot differs in size or angle from the one before. Static stages have no pan, no zoom and no drift. No on-screen text, subtitles or logos.

[Lighting]
[FILL IN: time of day, for example Evening, no daylight]. Key: [FILL IN: the main light source: what it is, where it is in frame, its colour]. Fill: [FILL IN: the second light source: what, where, colour]. Light and shadows on <HERO> come from the light sources of <LOCATION>, with soft contact shadows. <HERO> belongs to the room, never pasted over it.

[Style]
Photoreal live action, real cinema camera, shallow focus, natural motion blur, [FILL IN: colour grade, for example a warm cosy grade], fine film grain. No CGI look, no sharpening, no HDR.

[Audio]
Dialogue language: [FILL IN: the spoken language]. The soundtrack is the original audio of <SOURCE>, unchanged: same voice, words, intonation and timing, with mouth shapes matching [FILL IN: the spoken language] phonetics. No music, no added sounds.