Substituir pessoas e locais em filmagens existentes: quais ferramentas de IA preservam o movimento

As filmagens de teste são um comercial de 16 segundos com onze cortes. O objetivo era manter cada corte, movimento de câmara e gesto e substituir todo o resto: cinco pessoas principais, cinco locais, a cor da marca e todos os subtítulos, logótipos e gráficos flutuantes. Cada nova pessoa e local foi criado primeiro como uma imagem estática e aprovado, e todas as ferramentas abaixo receberam as mesmas imagens.

O resultado era necessário em 9:16 e em 16:9, o que divide o trabalho em dois tarefas diferentes. A substituição altera o que está no plano e deve manter o movimento. O reenquadramento transforma um corte vertical finalizado num corte panorâmico, inventando os lados em falta. Esta nota compara ambos no mesmo material de filmagem.

Substituição: o que manteve o movimento

O teste é simples. Reproduza o resultado ao lado da fonte: será que todas as pessoas ainda se movem, viram e atravessam o plano no mesmo momento, e os cortes mantiveram-se onde estavam?

O Seedance 2.5 manteve um talking head que funcionou melhor no nosso teste de cenário e vestuário, por isso o seu insucesso aqui precisa de uma explicação. Em Dreamina, um vídeo mais imagens de referência passa pelo modo multimodal, que gera um novo clipe guiado pelo vídeo. Não existe uma opção de edição. As pessoas e os locais estavam corretos; a interpretação não.

Duas abordagens não foram executadas. O H3 Max Recast no fal substitui apenas pessoas, até quatro, e teria mantido os locais, a cor e o texto. O Kling O3 Edit constrói cada substituição em torno de uma personagem principal, pelo que um plano com várias pessoas exigiria uma execução por pessoa.

Wan 3.0 necessita de sequências curtas

Wan 3.0 aceita até 15 segundos de vídeo de origem e dez imagens de referência, pelo que o passo óbvio seria uma única execução para o resto do clipe. Tentámos: seis planos, nove imagens e uma longa lista de instruções, aos 9.55 segundos. O Wan recriou todas as pessoas, mas ignorou a maior parte do resto. As legendas, um cartão de app flutuante e os sinais e autocolantes da loja original sobreviveram, e dois locais mantiveram o seu aspeto original.

Ao dividir em execuções de dois planos, cada um com apenas as duas ou três imagens necessárias para esses planos, e com todos os elementos restantes nomeados no prompt, os mesmos planos resultaram limpos.

Reenquadramento: estender o corte vertical para 16:9

A ideia mais barata era manter o corte vertical aprovado e fazer outpainting: colocar o frame 9:16 no meio de uma tela 16:9 e deixar um modelo pintar a esquerda e a direita. O problema é a geometria. Um frame 9:16 preenche apenas cerca de um terço de um frame 16:9, pelo que dois terços de cada imagem são inventados.

O mesmo plano, de cinco formas

Três reframes do plano vertical, seguidos pelo mesmo plano através das duas rotas de edição, que partiram do metraje horizontal original. Todos os cinco reproduzem na sua resolução nativa.

O mesmo fotograma central de cada resultado em tamanho real: o lado esquerdo, o homem no balcão, o lado direito.

As edições vencem, e não é por pouco. Uma edição parte de um plano aberto real, pelo que as suas laterais têm geometria, profundidade e pessoas reais. Um reframe tem de as inventar e, a dois terços do plano, a invenção torna-se evidente. O reframing vale a pena para pequenas adições, como uma faixa de parede ou de céu, não para transformar um corte vertical num horizontal.

Custo de cada execução

Cada rota tem o preço calculado para 5 segundos de filmagem com base nos preços de tabela padrão, para que as linhas se comparem diretamente. Os créditos da Higgsfield usam o plano Plus com faturação mensal, $59 por 1,200 créditos. Os créditos da Kling.ai usam o plano Standard com faturação mensal, $8.80 por 660 créditos. As tarifas mudam; consulte fal, Higgsfield e Kling.ai para obter os valores atuais.

Principais conclusões

1. Crie primeiro as imagens estáticas. Cada rota acima utilizou as mesmas pessoas e locais aprovados, o que manteve a consistência do elenco entre ferramentas e formatos.
2. Verifique se a ferramenta edita e não regenera. Reproduza o resultado ao lado da fonte. Se as pessoas ficarem imóveis ou o enquadramento mudar, foi uma nova geração.
3. Mantenha cada sequência de edição pequena. Dois ou três planos, apenas as imagens de que esses planos necessitam, e todos os elementos restantes mencionados no prompt. Uma sequência sobrecarregada substitui as pessoas e ignora silenciosamente o resto.
4. Escolha por plano. Kling 4.0 para trocas de localização, Wan 3.0 quando a multidão ao fundo é importante. Ambos mantêm os cortes, para que os planos se misturem de forma limpa.
5. Refazer cada formato a partir da sua origem. Se existir um original horizontal, edite-o. O outpainting de um corte vertical inventa dois terços do enquadramento.
6. Corte os planos não utilizados antes de pagar. As edições também cobram os segundos de entrada, por isso elimine os planos que a montagem final não utiliza.

Os botões de prompt mostram a estrutura dos prompts que utilizamos, com os detalhes específicos do plano substituídos por marcadores entre parênteses retos.

Remake this 16-second ad as if it were filmed in [new setting]. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

REFERENCES:
- @Image1 replaces [the person in shot A] ([time range]); the place becomes @Image6.
- @Image2 replaces [the person in shot B] ([time range]); the place becomes @Image7.
- ... one line per person and place, with the time ranges where they appear.

PEOPLE: everyone else is [what the extras should look like].
CLOTHING: [the wardrobe rule for extras].
COLOUR PALETTE: replace every [old brand colour] with [new palette]. No [old brand colour] anywhere.
PHONE SCREENS: [what every visible screen shows].
REMOVE COMPLETELY: all subtitles, small legal text, the source logo, floating graphics and all signs and lettering. Add no new text.

Edit [Video 1]: Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

0.0-2.5s: [the person in shot A] becomes the person in [Image: person A] ([outfit]); the place becomes [Image: place A].
2.5-4.8s: [the person in shot B] becomes the person in [Image: person B]; the place becomes [Image: place B]. [The extra who crosses the frame] becomes [description].

Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit @Video1. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

First shot (0.0-2.5s): [the person in shot A] becomes the person in @Image1 ([outfit]); the place becomes [new place] in @Image2.
Second shot (2.5-4.8s): [the person in shot B] becomes the person in @Image3; the place becomes @Image4. [The extra who crosses the frame] becomes [description], with the same walk and timing.

Every other person is [what the extras should look like]. Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit Video 1: keep both shots, the cut, every camera move, hand and body movement and the timing exactly; change only what is listed.

Shot 1 (0.0-1.1s): replace [the person] with the person in Image 1, same face, hair and outfit. Change the [place] into the [new place] in Image 2: [three or four concrete features of the new place]. Remove every sign and sticker: [name each leftover from the source, word for word].
Shot 2 (1.1-2.2s): [the hands, props or screen and what they become]. [Any object that keeps the old colour] becomes [new colour].

Change every [old brand colour] to [new palette]; no [old brand colour] anywhere. Remove all subtitles including [the exact word on screen], floating chips and all lettering; add no new text. Real handheld footage, [light].

Continue the same [place] to the left and right: [materials, fittings and props already visible in the frame], and [what lies beyond it] with a few passers-by. Same camera, light and colour grade as the source. No text, signs or logos.