Una nueva habitación y vestuario para un plano de busto: solo Seedance 2.5 mantuvo la identidad de la persona

El metraje es el tipo más común que tiene un creador: un selfie vertical de 48 segundos, con el teléfono a brazo extendido, una habitación sencilla de fondo, una camiseta lila, gestos naturales y habla en ruso. El objetivo era situar a la misma persona en un cálido salón al atardecer, vistiendo una americana azul a medida, sin alterar lo que hace que el clip sea suyo: el rostro, el cabello, cada gesto, la forma de la boca y la voz.

Eso descarta muchas opciones. El espectador mira directamente a un rostro que habla, así que unos pocos fotogramas de una boca que no coincide con las palabras, o un rostro suavizado que parece alguien ligeramente distinto, bastan para perder su atención. Los clips de abajo no tienen sonido a propósito: el discurso es en ruso, y lo que importa aquí es lo que puedes ver.

El proceso que funcionó

1. Elige primero una pieza de prueba corta. Cortamos cinco segundos (35.4–40.4 s) del archivo del móvil, convertido de 4K a 120 fps a 1080×1920 a 30 fps, manteniendo el sonido. Haz una prueba con cinco segundos antes de pagar por cuarenta y ocho.
2. Prepara una imagen de referencia del estilo deseado. Un único fotograma de la misma persona ya con el nuevo atuendo y en la nueva estancia. Una sola imagen puede contener tanto el vestuario como la localización, siempre que el prompt indique que no define nada más.
3. Ejecuta Seedance 2.5 en modo Edición de Vídeo. El clip de origen es la referencia de vídeo, la imagen fija es la referencia de imagen y el prompt se escribe como una orden de edición: qué cambia, qué es el máster y qué no debe moverse. El sonido generado está desactivado.
4. Comprueba la duración. Nuestra fuente de 5.00 segundos resultó en 4.71 segundos; su movimiento se reprodujo aproximadamente un 6% más rápido. Al estirarlo de nuevo a 5.00 s, los gestos coincidieron con la fuente en un margen de dos fotogramas.
5. Recupera la voz original. La propia grabación del interlocutor se superpone a la imagen reajustada, por lo que la voz nunca es una reconstrucción.
6. Revisa la cara a tamaño completo, luego los labios con el sonido. Recorta la cara a 1:1 respecto a la fuente antes de darlo por terminado. Las superposiciones, subtítulos e insertos se añaden en el montaje posteriormente, nunca se pasan por el modelo.

Entradas necesarias

• El clip de origen, de al menos 4 segundos y como máximo 30 segundos por ejecución (divide las tomas más largas).
• Una imagen de referencia del atuendo y la habitación de destino, idealmente con la misma persona.
• El audio original, reservado para volver a integrarlo en el resultado final.
• El idioma hablado, para que los movimientos de la boca sigan la fonética correcta.
• Una lista simple de lo que debe permanecer (cara, pelo, manos, ritmo) y lo que debe desaparecer (la habitación antigua, la ropa antigua, cualquier cosa impresa en la pared).

Ruta 1: reestilizar el metraje real

Esta ruta mantiene la interpretación grabada y redibuja solo lo que debe cambiar. Lo probamos en dos modelos de Higgsfield con el mismo clip de cinco segundos y la misma imagen de referencia.

Fuente

Grabación de teléfono

La entrada: una habitación sencilla, una camiseta lila, gestos naturales, movimiento de selfie con la mano.

Referencia

Habitación y atuendo objetivo

La referencia que recibieron ambas tomas: define el atuendo y la habitación, nada más.

Toma A · seleccionada

Seedance 2.5 Edición de vídeo

Tanto la habitación como el atuendo han cambiado; el rostro mantiene sus líneas y textura de la piel, y los parpadeos, las formas de la boca y los gestos de las manos coinciden con la fuente. Ajustamos el tiempo del resultado antes de añadir la voz original.

Ver prompt

Toma B

Higgsfield Genjutsu

Motion transfer copia fielmente la interpretación y añade la americana, pero la habitación antigua permanece y el rostro sale más suave y menos parecido al original. Genjutsu no requiere prompt.

Seedance 2.5 es el modelo que debes usar cuando una persona real permanece en plano. Fue el único que cambió la habitación y la ropa manteniendo un rostro que reconocerías a tamaño completo. Genjutsu hizo la mitad del trabajo y suavizó el rostro. También escalamos el clip de Genjutsu de 720p a 1080p con ByteDance Video Upscale: el escalador inventa pestañas y texturas, y en un rostro que ya había perdido definición, hizo que el resultado pareciera peor, no mejor. Escalar no arregla un modelo débil.

El modo es tan importante como el modelo. Nuestros dos primeros intentos de Seedance 2.5 utilizaron el modo de referencia (omni) con el clip adjunto como referencia de vídeo. Ambos fallaron tras unos 45 segundos y se reembolsaron, sin que se diera ninguna razón a través de la API. La página web de Higgsfield dio la respuesta: Tu prompt parece una solicitud de edición de vídeo. Cambia al modo Video Edit para que el resultado siga tu vídeo de entrada. En el modo Video Edit, el mismo trabajo se logró al primer intento. Video Edit factura según la duración del clip de origen: 38 créditos por cinco segundos a 720p.

Ruta 2: recortar a la persona y realizar el compuesto

La ruta más económica nunca redibuja a la persona. Un modelo de matting identifica qué píxeles pertenecen al interlocutor; luego, los píxeles originales se superponen a un nuevo fondo con ffmpeg. Comparamos tres proveedores en una pieza de siete segundos de la misma grabación, con una vista de la ciudad desde una ventana como nuevo fondo. Esta pieza incluye tres pequeñas superposiciones de vídeo insertadas, mostradas tal como aparecieron en la entrada.

El punto débil de cada recorte es el mismo: pelo fino contra una pared brillante. Cada resultado conserva parte de la habitación antigua entre las hebras, lo que se percibe como un halo contra un cielo nuevo. Las superposiciones insertadas son la segunda trampa: un modelo de recorte solo conoce a la persona y todo lo demás, así que mantén las superposiciones fuera del clip que envíes y añádelas de nuevo en el montaje.

Ruta 3: regenerar al interlocutor a partir de una foto

La tercera ruta descarta el metraje y anima una sola foto con la voz original. Le dimos a dos modelos de avatar la misma imagen fija del ponente en un puerto deportivo junto al lago y los primeros 5.55 segundos de su discurso grabado, terminando en una pausa natural.

Foto de origen

Retrato de Marina

La única foto con ambos modelos de avatar animados, con la propia voz del interlocutor.

Avatar 1

OmniHuman 1.5

Movimiento de cabeza y boca animado, pero la piel está suavizada y parece algo más joven. $0.89 en fal, 3 minutos.

Ver prompt

Avatar 2

Kling AI Avatar v2 Pro

Más parecido a la foto, manteniendo las pecas y la textura con un balanceo de cámara en mano creíble. 0.83$ en fal, 7 minutos.

Ambos mantienen la voz real, ya que solo animan el rostro para sincronizarla. Lo que no pueden mantener es la interpretación real: cada gesto y movimiento de cabeza es inventado. Esto funciona para un nuevo mensaje directo a cámara, pero es un vídeo distinto, no el original en una sala nueva.

La plantilla

Esta es la plantilla de reestilización completa en su forma más general: puede sustituir la habitación, el armario y el cabello, mantener los accesorios elegidos de la fuente y re-montar una toma en varios planos. Rellena los campos entre corchetes y elimina lo que no necesites para tu trabajo. En Higgsfield, envíalo en el modo Seedance 2.5 Video Edit.

• Mantener el propio cabello del interlocutor: crear @Look solo vestuario.
• No queda nada de la sala antigua: elimina la línea de accesorios.
• Una toma continua, como un selfie: usa una sola etapa y elimina las líneas sobre nuevos ángulos y tamaños de plano.
• Metraje de móvil: sustituye la línea de estilo de cámara de cine por "vídeo de móvil fotorrealista que coincida con el origen", de lo contrario, el resultado no encajará en el montaje con el resto de la grabación.
• La voz original: desactiva el sonido generado y vuelve a colocar la grabación después.

[Edit Goal]
Edit @Video 1. For the entire video, replace the room behind the woman and replace her lilac T-shirt with a blazer outfit.

[Source Video Role]
@Video 1 is the sole editing master. It defines the woman: her face, skin, freckles, eye colour, hair, expression, every blink and every mouth shape of her Russian speech, her hand gestures, her position and size in frame, the handheld selfie camera movement, the audio, and the timing of everything.

[Target Material Role]
@Image 1 defines only two things. Her clothing: a tailored dusty-blue blazer with wide peak lapels over a matching V-neck waistcoat with buttons. The room: a cosy warm living room in the evening, a large framed landscape painting in gold, ochre and soft blue on the left, a table lamp with a cream shade glowing on a wooden sideboard, built-in shelves on the right lit by warm strip lights with dark ceramic vases and books. Do not use the woman's face, hairstyle or pose from @Image 1.

[Edit Scope]
Modify only the background outside her silhouette, and her clothing below the neck. Allow the warm lamp light of the new room to fall naturally on her face, hair and blazer. Do not modify her identity, facial features, freckles, eye colour, hairstyle, expression, mouth movement, hands, position, size or motion.

[Timeline Inheritance]
The blazer moves exactly as the T-shirt did, following every shoulder and arm movement, and her hands pass in front of it at the same moments. Keep all her actions, gestures and the camera movement from @Video 1 unchanged, frame by frame. Exactly one person. No on-screen text or logos.

[Content to Preserve]
Keep her face, hair, expression, lip movement, gestures, camera framing and sway, timing and the original audio from @Video 1.

A woman talks directly to the camera in a handheld selfie video on a sunny lakeside marina. Natural, relaxed delivery: small head nods and tilts, lively eyebrows, natural blinks, subtle shoulder movement, slight handheld camera sway as if she holds the phone at arm's length. Her hair moves lightly in the breeze; boats rock gently on the water behind her. Her face, hair and striped shirt stay exactly as in the photo. Realistic skin, natural daylight.

Inputs: the marina photo as the image, the speaker's own recording (0–5.55 s) as the audio. OmniHuman 1.5 at 720p.

@Source is <SOURCE>, the master motion track. This is a restyle of <SOURCE>, not a new performance: <HERO>'s face, body, pose, every movement of head, hands and fingers, every gesture, every object touched, speech timing and mouth shapes are copied from <SOURCE> frame by frame, at exactly the same seconds, same speed, same direction, same hand. Ignore from <SOURCE>: [FILL IN: what to remove from the source video, such as the old room, furniture, clothing, hairstyle].
<SOURCE> also defines <PROPS>, identical in every shot: [FILL IN: objects from the source to keep, each one separately: what it is, colour, material, where it stands. IF THERE IS NOTHING TO KEEP, DELETE THIS WHOLE LINE]. Exactly one of each object.
@Location is <LOCATION>: [FILL IN: the new location: furniture, where the hero is, lamps and windows, walls, decor]. Carry this geometry identically. Ignore its camera angle.
@Look is <LOOK>, wardrobe and hair only: [FILL IN: clothing from top to bottom, accessories, shoes; hairstyle: length, shape, styling]. Not the face. Ignore the background and any text on the reference.

[Blocking]
<HERO> takes the same position as in <SOURCE>, now [FILL IN: where the hero is in the new location, for example sitting in an armchair or standing by the window], with [FILL IN: what is behind the hero] behind. Scale and distances stay as in <SOURCE>.

[Stages]
Stage 1 ([FILL IN: timecode, for example 0–4] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 2 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 3 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.

[Maintain consistency]
Every movement matches <SOURCE> at the same timecode; nothing is added, skipped, slowed or sped up. In new angles, the same movements are seen from the new angle. <HERO> talks exactly as in <SOURCE> in every shot, the mouth never still while <SOURCE> has speech. Exactly one person. The face matches <SOURCE> from every angle, [FILL IN: any change to the face, for example fully clean-shaven, OR DELETE], with visible pores and dry matte skin, never plastic. Wardrobe and hair match <LOOK> in every shot. Every shot differs in size or angle from the one before. Static stages have no pan, no zoom and no drift. No on-screen text, subtitles or logos.

[Lighting]
[FILL IN: time of day, for example Evening, no daylight]. Key: [FILL IN: the main light source: what it is, where it is in frame, its colour]. Fill: [FILL IN: the second light source: what, where, colour]. Light and shadows on <HERO> come from the light sources of <LOCATION>, with soft contact shadows. <HERO> belongs to the room, never pasted over it.

[Style]
Photoreal live action, real cinema camera, shallow focus, natural motion blur, [FILL IN: colour grade, for example a warm cosy grade], fine film grain. No CGI look, no sharpening, no HDR.

[Audio]
Dialogue language: [FILL IN: the spoken language]. The soundtrack is the original audio of <SOURCE>, unchanged: same voice, words, intonation and timing, with mouth shapes matching [FILL IN: the spoken language] phonetics. No music, no added sounds.