Une nouvelle pièce et une nouvelle tenue pour un talking head : seuls Seedance 2.5 ont préservé la personne

Les images sont du type le plus courant pour un créateur : un selfie vertical de 48 secondes, téléphone tenu à bout de bras, une pièce simple en arrière-plan, un t-shirt lilas, des gestes naturels et un discours en russe. L'objectif était de placer la même personne dans un salon chaleureux en soirée, portant un blazer bleu ajusté, sans modifier ce qui fait l'identité de la séquence : le visage, les cheveux, chaque geste, les mouvements de la bouche et la voix.

Cela exclut beaucoup de possibilités. Le spectateur regarde droit dans un visage qui parle ; quelques images où la bouche ne correspond pas aux mots, ou un visage lissé qui ressemble à quelqu'un d'autre, suffisent à le perdre. Les clips ci-dessous sont volontairement sans son : le discours est en russe, et ce qui importe ici, c'est ce que vous voyez.

Le processus qui a fonctionné

1. Choisissez d'abord un court extrait de test. Nous coupons cinq secondes (35.4–40.4 s) du fichier mobile, converti de 4K à 120 fps en 1080×1920 à 30 fps, tout en conservant le son. Testez sur cinq secondes avant de payer pour quarante-huit.
2. Préparez une image de référence pour le rendu souhaité. Une seule image de la même personne, déjà dans la nouvelle tenue et la nouvelle pièce. Une seule image peut définir à la fois la garde-robe et le lieu, tant que le prompt précise qu'elle ne définit rien d'autre.
3. Lancez Seedance 2.5 en mode Montage Vidéo. Le clip source sert de référence vidéo, l'image fixe de référence image, et le prompt est rédigé comme une commande de montage : ce qui change, ce qui constitue le maître, et ce qui ne doit pas bouger. Le son généré est désactivé.
4. Vérifiez la durée. Notre source de 5.00 secondes est devenue une vidéo de 4.71 secondes, avec un mouvement environ 6% plus rapide. Une fois étirée à 5.00 s, les gestes s'alignaient sur la source à deux images près.
5. Réintégrez la voix originale. L'enregistrement propre de l'interlocuteur est superposé à l'image réalignée, la voix n'étant donc jamais une reconstruction.
6. Vérifiez le visage en taille réelle, puis les lèvres avec le son. Recadrez le visage en 1:1 par rapport à la source avant de valider. Les superpositions, les sous-titres et les inserts sont ajoutés au montage par la suite, et ne passent jamais par le modèle.

Éléments requis

• Le clip source doit durer au moins 4 secondes et au maximum 30 secondes par exécution (divisez les prises plus longues).
• Une image de référence de la tenue et de la pièce cibles, idéalement avec la même personne.
• L'audio original, mis de côté pour être réintégré sur le résultat.
• La langue parlée, afin que les mouvements de la bouche suivent la bonne phonétique.
• Une simple liste de ce qui doit être conservé (visage, cheveux, mains, timing) et de ce qui doit disparaître (l'ancienne pièce, les anciens vêtements, tout ce qui est imprimé sur le mur).

Option 1 : restyler les images réelles

Cette méthode conserve la performance enregistrée et redessine uniquement ce qui doit changer. Nous l'avons testée sur deux modèles Higgsfield avec le même clip de cinq secondes et la même image de référence.

Source

Enregistrement de téléphone

L'entrée : une pièce simple, un t-shirt lilas, des gestes naturels, un mouvement de selfie à la main.

Référence

Décor et tenue cibles

La référence reçue pour les deux prises : elle définit la tenue et la pièce, rien d'autre.

Prise A · sélectionnée

Seedance 2.5 Montage Vidéo

La pièce et la tenue ont toutes deux changé ; le visage conserve ses traits et sa texture de peau, et les clignotements, les formes de la bouche et les gestes des mains correspondent à ceux de la source. Nous avons ajusté le rythme de la sortie avant d'ajouter la voix originale.

Voir le prompt

Prise B

Higgsfield Genjutsu

Le transfert de mouvement copie fidèlement la performance et ajoute le blazer, mais l'ancienne pièce reste, et le visage ressort plus lisse et moins fidèle à la source. Genjutsu ne nécessite aucun prompt.

Seedance 2.5 est le modèle à utiliser lorsqu'une personne réelle reste dans l'image. C'était le seul capable de modifier la pièce et les vêtements tout en conservant un visage reconnaissable en plein écran. Genjutsu n'a fait que la moitié du travail et a adouci les traits du visage. Nous avons également agrandi le clip Genjutsu de 720p à 1080p avec ByteDance Video Upscale : l'upscaler invente des cils et de la texture, et sur un visage qui avait déjà dérivé, cela a rendu le résultat moins bon, et non meilleur. L'upscaling ne corrige pas un modèle trop faible.

Le mode est tout aussi important que le modèle. Nos deux premières tentatives Seedance 2.5 ont utilisé le mode référence (omni) avec le clip joint comme référence vidéo. Les deux ont échoué après environ 45 secondes et ont été remboursées, sans raison donnée via l'API. La page web de Higgsfield a apporté la réponse : Votre prompt ressemble à une demande de montage vidéo. Passez en mode « Montage Vidéo » pour que le résultat respecte votre vidéo source. En mode Video Edit, le même travail a été réalisé dès la première tentative. Video Edit est facturé selon la durée du clip source : 38 crédits pour cinq secondes en 720p.

Route 2 : détourage et compositing

La méthode la moins coûteuse ne redessine jamais la personne. Un modèle de détourage identifie les pixels appartenant à l'intervenant ; les pixels originaux sont ensuite superposés à un nouveau décor via ffmpeg. Nous avons comparé trois prestataires sur un extrait de sept secondes de la même prise, avec une vue sur la ville depuis une fenêtre comme nouveau décor. Cet extrait contient trois petits incrustations vidéo, présentées telles qu'elles apparaissaient dans l'entrée.

Le point faible de chaque détourage est le même : les cheveux fins sur un mur clair. Chaque résultat conserve des éléments de l'ancienne pièce entre les mèches, ce qui crée un effet de halo sur le nouveau ciel. Les incrustations sont le second piège : un modèle de détourage ne reconnaît que la personne et tout le reste, alors évitez les incrustations dans le clip envoyé et réintégrez-les lors du montage.

Route 3 : régénérer l'interlocuteur à partir d'une seule photo

La troisième option supprime les images et anime une seule photo avec la voix originale. Nous avons donné à deux modèles d'avatars la même image fixe de l'intervenante dans une marina au bord d'un lac et les 5.55 premières secondes de son discours enregistré, se terminant sur une pause naturelle.

Photo source

Portrait de Marina

La photo unique anime les deux modèles d'avatar, avec la propre voix de l'intervenant.

Avatar 1

OmniHuman 1.5

Mouvements de tête et de bouche dynamiques, mais la peau est lissée et elle paraît légèrement plus jeune. 0.89 sur fal, 3 minutes.

Voir le prompt

Avatar 2

Kling AI Avatar v2 Pro

Plus proche de la photo, avec conservation des taches de rousseur et de la texture, et un mouvement caméra à l'épaule crédible. 0.83$ sur fal, 7 minutes.

Les deux conservent la voix réelle, car ils n'animent que le visage en fonction de celle-ci. Ce qu'ils ne peuvent pas conserver, c'est la performance réelle : chaque geste et chaque mouvement de tête est inventé. Cela convient pour une nouvelle prise de vue face caméra, mais il s'agit d'une vidéo différente, et non de l'originale filmée dans une nouvelle pièce.

Le modèle

Voici le modèle de restylage complet dans sa forme la plus générale : il peut remplacer la pièce, la garde-robe et la chevelure, conserver les accessoires choisis de la source, et transformer une prise en plusieurs plans. Remplissez les champs entre crochets et supprimez ce dont votre projet n'a pas besoin. Sur Higgsfield, soumettez-le en mode Seedance 2.5 Video Edit.

• Conserver les cheveux de l'intervenant : créer @Look uniquement pour la garde-robe.
• Rien à conserver de l'ancienne pièce : supprimez la ligne des accessoires.
• Une seule prise continue, comme un selfie : utilisez un seul étage, et supprimez les lignes concernant les nouveaux angles et les tailles de plans.
• Images de téléphone : remplacez la mention de style caméra cinéma par "vidéo de téléphone photoréaliste correspondant à la source", sinon le résultat ne s'intégrera pas au montage avec le reste de l'enregistrement.
• La voix originale : désactivez le son généré et superposez l'enregistrement par la suite.

[Edit Goal]
Edit @Video 1. For the entire video, replace the room behind the woman and replace her lilac T-shirt with a blazer outfit.

[Source Video Role]
@Video 1 is the sole editing master. It defines the woman: her face, skin, freckles, eye colour, hair, expression, every blink and every mouth shape of her Russian speech, her hand gestures, her position and size in frame, the handheld selfie camera movement, the audio, and the timing of everything.

[Target Material Role]
@Image 1 defines only two things. Her clothing: a tailored dusty-blue blazer with wide peak lapels over a matching V-neck waistcoat with buttons. The room: a cosy warm living room in the evening, a large framed landscape painting in gold, ochre and soft blue on the left, a table lamp with a cream shade glowing on a wooden sideboard, built-in shelves on the right lit by warm strip lights with dark ceramic vases and books. Do not use the woman's face, hairstyle or pose from @Image 1.

[Edit Scope]
Modify only the background outside her silhouette, and her clothing below the neck. Allow the warm lamp light of the new room to fall naturally on her face, hair and blazer. Do not modify her identity, facial features, freckles, eye colour, hairstyle, expression, mouth movement, hands, position, size or motion.

[Timeline Inheritance]
The blazer moves exactly as the T-shirt did, following every shoulder and arm movement, and her hands pass in front of it at the same moments. Keep all her actions, gestures and the camera movement from @Video 1 unchanged, frame by frame. Exactly one person. No on-screen text or logos.

[Content to Preserve]
Keep her face, hair, expression, lip movement, gestures, camera framing and sway, timing and the original audio from @Video 1.

A woman talks directly to the camera in a handheld selfie video on a sunny lakeside marina. Natural, relaxed delivery: small head nods and tilts, lively eyebrows, natural blinks, subtle shoulder movement, slight handheld camera sway as if she holds the phone at arm's length. Her hair moves lightly in the breeze; boats rock gently on the water behind her. Her face, hair and striped shirt stay exactly as in the photo. Realistic skin, natural daylight.

Inputs: the marina photo as the image, the speaker's own recording (0–5.55 s) as the audio. OmniHuman 1.5 at 720p.

@Source is <SOURCE>, the master motion track. This is a restyle of <SOURCE>, not a new performance: <HERO>'s face, body, pose, every movement of head, hands and fingers, every gesture, every object touched, speech timing and mouth shapes are copied from <SOURCE> frame by frame, at exactly the same seconds, same speed, same direction, same hand. Ignore from <SOURCE>: [FILL IN: what to remove from the source video, such as the old room, furniture, clothing, hairstyle].
<SOURCE> also defines <PROPS>, identical in every shot: [FILL IN: objects from the source to keep, each one separately: what it is, colour, material, where it stands. IF THERE IS NOTHING TO KEEP, DELETE THIS WHOLE LINE]. Exactly one of each object.
@Location is <LOCATION>: [FILL IN: the new location: furniture, where the hero is, lamps and windows, walls, decor]. Carry this geometry identically. Ignore its camera angle.
@Look is <LOOK>, wardrobe and hair only: [FILL IN: clothing from top to bottom, accessories, shoes; hairstyle: length, shape, styling]. Not the face. Ignore the background and any text on the reference.

[Blocking]
<HERO> takes the same position as in <SOURCE>, now [FILL IN: where the hero is in the new location, for example sitting in an armchair or standing by the window], with [FILL IN: what is behind the hero] behind. Scale and distances stay as in <SOURCE>.

[Stages]
Stage 1 ([FILL IN: timecode, for example 0–4] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 2 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 3 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.

[Maintain consistency]
Every movement matches <SOURCE> at the same timecode; nothing is added, skipped, slowed or sped up. In new angles, the same movements are seen from the new angle. <HERO> talks exactly as in <SOURCE> in every shot, the mouth never still while <SOURCE> has speech. Exactly one person. The face matches <SOURCE> from every angle, [FILL IN: any change to the face, for example fully clean-shaven, OR DELETE], with visible pores and dry matte skin, never plastic. Wardrobe and hair match <LOOK> in every shot. Every shot differs in size or angle from the one before. Static stages have no pan, no zoom and no drift. No on-screen text, subtitles or logos.

[Lighting]
[FILL IN: time of day, for example Evening, no daylight]. Key: [FILL IN: the main light source: what it is, where it is in frame, its colour]. Fill: [FILL IN: the second light source: what, where, colour]. Light and shadows on <HERO> come from the light sources of <LOCATION>, with soft contact shadows. <HERO> belongs to the room, never pasted over it.

[Style]
Photoreal live action, real cinema camera, shallow focus, natural motion blur, [FILL IN: colour grade, for example a warm cosy grade], fine film grain. No CGI look, no sharpening, no HDR.

[Audio]
Dialogue language: [FILL IN: the spoken language]. The soundtrack is the original audio of <SOURCE>, unchanged: same voice, words, intonation and timing, with mouth shapes matching [FILL IN: the spoken language] phonetics. No music, no added sounds.