Um novo cenário e roupa para um talking head: apenas Seedance 2.5 manteve a pessoa

O material é o tipo mais comum que um criador possui: uma selfie vertical de 48 segundos, com o telemóvel estendido, uma divisão simples ao fundo, uma t-shirt lilás, gestos naturais e fala em russo. O objetivo era colocar a mesma pessoa numa sala de estar acolhedora ao entardecer, vestindo um blazer azul sob medida, sem alterar o que torna o clip único: o rosto, o cabelo, cada gesto, os movimentos da boca e a voz.

Isso exclui muitas opções. O espectador está a olhar diretamente para um rosto que fala, por isso, alguns fotogramas de uma boca que não coincide com as palavras, ou um rosto suavizado que parece alguém ligeiramente diferente, são suficientes para o perder. Os clipes abaixo não têm som de propósito: a fala é em russo, e o que importa aqui é o que consegue ver.

O processo que funcionou

1. Escolha primeiro um pequeno teste. Cortamos cinco segundos (35.4–40.4 s) do ficheiro do telemóvel, convertido de 4K a 120 fps para 1080×1920 a 30 fps, mantendo o som. Teste cinco segundos antes de pagar por quarenta e oito.
2. Prepare uma imagem de referência do visual pretendido. Um único fotograma da mesma pessoa já com o novo vestuário e no novo cenário. Uma única imagem pode conter tanto o guarda-roupa como a localização, desde que o prompt indique que não define mais nada.
3. Execute Seedance 2.5 no modo Video Edit. O clipe de origem é a referência de vídeo, a imagem estática é a referência de imagem e o prompt é escrito como uma ordem de edição: o que muda, o que é o mestre e o que não deve mover. O som gerado está desligado.
4. Verifique a duração. A nossa fonte de 5.00 segundos resultou em 4.71 segundos, com o movimento a decorrer cerca de 6% mais rápido. Ao ser estendida para 5.00 s, os gestos alinharam-se com a fonte num intervalo de dois fotogramas.
5. Recupere a voz original. A gravação do próprio interlocutor é sobreposta à imagem reajustada, para que a voz nunca seja uma reconstrução.
6. Verifique o rosto em tamanho real, depois os lábios com o som. Corte o rosto em 1:1 em relação à fonte antes de dar o trabalho como concluído. Sobreposições, legendas e inserções são adicionadas na montagem posteriormente, nunca através do modelo.

Inputs necessários

• O clipe de origem, com pelo menos 4 segundos e no máximo 30 segundos por execução (divida tomadas mais longas).
• Uma imagem de referência do traje e do ambiente pretendidos, idealmente com a mesma pessoa.
• O áudio original, colocado de parte para ser aplicado novamente no resultado.
• O idioma falado, para que os movimentos da boca sigam a fonética correta.
• Uma lista simples do que deve permanecer (rosto, cabelo, mãos, timing) e do que deve sair (a sala antiga, as roupas antigas, qualquer coisa impressa na parede).

Rota 1: reestilizar a filmagem real

Este método mantém a performance gravada e redesenha apenas o que deve mudar. Executámos-no em dois modelos Higgsfield com o mesmo clipe de cinco segundos e a mesma imagem de referência.

Fonte

Gravação de telemóvel

A entrada: uma sala simples, uma t-shirt lilás, gestos naturais, movimento de selfie manual.

Referência

Cenário e vestuário pretendidos

A referência que ambas as tomadas receberam: define o traje e a divisão, nada mais.

Tomada A · selecionada

Seedance 2.5 Edição de Vídeo

Tanto o cenário como o traje foram alterados; o rosto mantém as suas linhas e textura de pele, e os piscar de olhos, as formas da boca e os gestos das mãos coincidem com a fonte. Ajustámos o tempo do resultado antes de adicionar a voz original.

Ver prompt

Take B

Higgsfield Genjutsu

A transferência de movimento copia fielmente a performance e adiciona o blazer, mas a sala antiga permanece, e o rosto fica mais suave e menos parecido com a fonte. O Genjutsu não utiliza prompt.

Seedance 2.5 é o modelo a utilizar quando uma pessoa real permanece no plano. Foi o único que alterou a sala e a roupa, mantendo um rosto que reconheceria em tamanho real. O Genjutsu fez metade do trabalho e suavizou o rosto. Também aumentámos a resolução do clipe Genjutsu de 720p para 1080p com o ByteDance Video Upscale: o upscaler inventa pestanas e textura e, num rosto que já tinha perdido a fidelidade, tornou o resultado pior, não melhor. O upscaling não corrige um modelo mais fraco.

O modo é tão importante como o modelo. As nossas duas primeiras tentativas de Seedance 2.5 utilizaram o modo de referência (omni) com o clipe anexado como referência de vídeo. Ambas falharam após cerca de 45 segundos e foram reembolsadas, sem que fosse dada qualquer razão através da API. A página web da Higgsfield deu a resposta: O seu prompt parece um pedido de edição de vídeo. Mude para o modo Video Edit para que o resultado siga o seu vídeo de entrada. No modo Video Edit, o mesmo trabalho foi concluído à primeira tentativa. O Video Edit fatura com base na duração do clipe de origem: 38 créditos para cinco segundos em 720p.

Rota 2: isolar a pessoa e fazer composição

A rota mais barata nunca redesenha a pessoa. Um modelo de matting identifica quais os píxeis que pertencem ao orador; os píxeis originais são depois sobrepostos a um novo fundo com ffmpeg. Comparamos três fornecedores numa peça de sete segundos da mesma gravação, com uma vista da cidade através de uma janela como novo fundo. Esta peça contém três pequenas sobreposições de vídeo inseridas, mostradas tal como apareceram no input.

O ponto fraco de cada recorte é o mesmo: cabelo fino contra uma parede clara. Cada resultado mantém parte do antigo cenário entre os fios, o que cria um efeito de halo contra um novo céu. Sobreposições inseridas são a segunda armadilha: um modelo de matting só reconhece a pessoa e todo o resto, por isso mantenha as sobreposições fora do clipe que enviar e adicione-as novamente na montagem.

Rota 3: regenerar o orador a partir de uma fotografia

A terceira via descarta o metraje e anima uma única fotografia com a voz original. Fornecemos a dois modelos de avatar a mesma imagem estática da oradora numa marina à beira-lago e os primeiros 5.55 segundos do seu discurso gravado, terminando numa pausa natural.

Foto de origem

Retrato da Marina

A única fotografia com ambos os modelos de avatar animados, utilizando a própria voz do orador.

Avatar 1

OmniHuman 1.5

Movimento vívido da cabeça e da boca, mas a pele está suavizada e ela parece ligeiramente mais jovem. $0.89 na fal, 3 minutos.

Ver prompt

Avatar 2

Kling AI Avatar v2 Pro

Mais próximo da foto, mantendo as sardas e a textura, com um balanço de câmara à mão credível. $0.83 em fal, 7 minutos.

Ambos mantêm a voz real, porque apenas animam o rosto para ela. O que não conseguem manter é a performance real: cada gesto e movimento de cabeça é inventado. Isso adequa-se a um novo plano para a câmara, mas é um vídeo diferente, não o original num novo cenário.

O modelo

Este é o modelo de restilização completo na sua forma mais geral: pode substituir a divisão, o guarda-roupa e o cabelo, manter os objetos escolhidos da fonte e re-editar uma tomada em vários ângulos. Preencha os campos entre parênteses e apague o que não for necessário para o seu trabalho. No Higgsfield, submeta-o no modo Seedance 2.5 Video Edit.

• Manter o cabelo do próprio orador: criar apenas @Look de vestuário.
• Nada a manter da sala antiga: apague a linha de adereços.
• Uma única tomada contínua, como uma selfie: utilize um único cenário e elimine as linhas sobre novos ângulos e tamanhos de plano.
• Filmagem de telemóvel: substitua a linha do estilo de câmara de cinema por "vídeo de telemóvel fotorrealista correspondente à fonte", caso contrário, o resultado não fará uma boa montagem com o resto da gravação.
• A voz original: desligue o som gerado e sobreponha a gravação original depois.

[Edit Goal]
Edit @Video 1. For the entire video, replace the room behind the woman and replace her lilac T-shirt with a blazer outfit.

[Source Video Role]
@Video 1 is the sole editing master. It defines the woman: her face, skin, freckles, eye colour, hair, expression, every blink and every mouth shape of her Russian speech, her hand gestures, her position and size in frame, the handheld selfie camera movement, the audio, and the timing of everything.

[Target Material Role]
@Image 1 defines only two things. Her clothing: a tailored dusty-blue blazer with wide peak lapels over a matching V-neck waistcoat with buttons. The room: a cosy warm living room in the evening, a large framed landscape painting in gold, ochre and soft blue on the left, a table lamp with a cream shade glowing on a wooden sideboard, built-in shelves on the right lit by warm strip lights with dark ceramic vases and books. Do not use the woman's face, hairstyle or pose from @Image 1.

[Edit Scope]
Modify only the background outside her silhouette, and her clothing below the neck. Allow the warm lamp light of the new room to fall naturally on her face, hair and blazer. Do not modify her identity, facial features, freckles, eye colour, hairstyle, expression, mouth movement, hands, position, size or motion.

[Timeline Inheritance]
The blazer moves exactly as the T-shirt did, following every shoulder and arm movement, and her hands pass in front of it at the same moments. Keep all her actions, gestures and the camera movement from @Video 1 unchanged, frame by frame. Exactly one person. No on-screen text or logos.

[Content to Preserve]
Keep her face, hair, expression, lip movement, gestures, camera framing and sway, timing and the original audio from @Video 1.

A woman talks directly to the camera in a handheld selfie video on a sunny lakeside marina. Natural, relaxed delivery: small head nods and tilts, lively eyebrows, natural blinks, subtle shoulder movement, slight handheld camera sway as if she holds the phone at arm's length. Her hair moves lightly in the breeze; boats rock gently on the water behind her. Her face, hair and striped shirt stay exactly as in the photo. Realistic skin, natural daylight.

Inputs: the marina photo as the image, the speaker's own recording (0–5.55 s) as the audio. OmniHuman 1.5 at 720p.

@Source is <SOURCE>, the master motion track. This is a restyle of <SOURCE>, not a new performance: <HERO>'s face, body, pose, every movement of head, hands and fingers, every gesture, every object touched, speech timing and mouth shapes are copied from <SOURCE> frame by frame, at exactly the same seconds, same speed, same direction, same hand. Ignore from <SOURCE>: [FILL IN: what to remove from the source video, such as the old room, furniture, clothing, hairstyle].
<SOURCE> also defines <PROPS>, identical in every shot: [FILL IN: objects from the source to keep, each one separately: what it is, colour, material, where it stands. IF THERE IS NOTHING TO KEEP, DELETE THIS WHOLE LINE]. Exactly one of each object.
@Location is <LOCATION>: [FILL IN: the new location: furniture, where the hero is, lamps and windows, walls, decor]. Carry this geometry identically. Ignore its camera angle.
@Look is <LOOK>, wardrobe and hair only: [FILL IN: clothing from top to bottom, accessories, shoes; hairstyle: length, shape, styling]. Not the face. Ignore the background and any text on the reference.

[Blocking]
<HERO> takes the same position as in <SOURCE>, now [FILL IN: where the hero is in the new location, for example sitting in an armchair or standing by the window], with [FILL IN: what is behind the hero] behind. Scale and distances stay as in <SOURCE>.

[Stages]
Stage 1 ([FILL IN: timecode, for example 0–4] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 2 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 3 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.

[Maintain consistency]
Every movement matches <SOURCE> at the same timecode; nothing is added, skipped, slowed or sped up. In new angles, the same movements are seen from the new angle. <HERO> talks exactly as in <SOURCE> in every shot, the mouth never still while <SOURCE> has speech. Exactly one person. The face matches <SOURCE> from every angle, [FILL IN: any change to the face, for example fully clean-shaven, OR DELETE], with visible pores and dry matte skin, never plastic. Wardrobe and hair match <LOOK> in every shot. Every shot differs in size or angle from the one before. Static stages have no pan, no zoom and no drift. No on-screen text, subtitles or logos.

[Lighting]
[FILL IN: time of day, for example Evening, no daylight]. Key: [FILL IN: the main light source: what it is, where it is in frame, its colour]. Fill: [FILL IN: the second light source: what, where, colour]. Light and shadows on <HERO> come from the light sources of <LOCATION>, with soft contact shadows. <HERO> belongs to the room, never pasted over it.

[Style]
Photoreal live action, real cinema camera, shallow focus, natural motion blur, [FILL IN: colour grade, for example a warm cosy grade], fine film grain. No CGI look, no sharpening, no HDR.

[Audio]
Dialogue language: [FILL IN: the spoken language]. The soundtrack is the original audio of <SOURCE>, unchanged: same voice, words, intonation and timing, with mouth shapes matching [FILL IN: the spoken language] phonetics. No music, no added sounds.