Editar um objeto num vídeo: seis ferramentas comparadas

A tomada está quase correta. O movimento de câmara é bom, o timing é bom, a pessoa está bem, mas algo está errado: um camião onde queria outra coisa, um cesto de fruta que não deveria estar lá, a casaco errado. Regenerar o plano inteiro para o corrigir significa perder tudo o que funcionou. O que pretende é uma edição que altere apenas um objeto e deixe o resto do clip intacto.

Seis ferramentas foram criadas para esse fim. Três têm uma lição cada na Academy gratuita da SYNTX.AI, com exemplos práticos e o preço que a sua interface indicou. Mais três — Higgsfield Genjutsu, Runway Aleph 2.0 e Kling O1 Edit — são descritas a partir das páginas dos seus fornecedores, e uma delas foi utilizada por nós num trabalho real, com os fotogramas abaixo. Todo o resto aqui não foi executado por nós.

Três ferramentas das lições SYNTX

Seedance 2.5 Editor: marque, nomeie, guarde o resto

O clipe da lição mostra um carro a atravessar um mercado movimentado, editado de três formas. Para substituir dois camiões por elefantes a caminhar, o apresentador apontou uma seta para cada camião num fotograma onde ambos eram visíveis, confirmou a seleção e escreveu ao lado da etiqueta que aparece no prompt: substituir os dois camiões por dois elefantes no mesmo lugar, e manter os outros planos inalterados. O carro continua a conduzir entre eles; a multidão, os guarda-chuvas e o movimento da câmara permanecem intactos.

A remoção foi feita da mesma forma com um retângulo em torno de um cesto de fruta, selecionado no fotograma antes de este cair. O prompt pedia para remover o cesto e cada fruta espalhada. Não era necessário descrever o fundo atrás deles; o modelo preencheu-o. Para a terceira edição, um carro de polícia no lugar do carro comum, uma imagem de referência foi inserida através do clipe de papel e o carro manteve a sua trajetória e o pó atrás das rodas.

O padrão a copiar: selecione um fotograma onde o objeto esteja totalmente visível, escreva uma instrução curta com as suas próprias palavras e termine sempre com “manter os outros planos inalterados”. O preço subiu de 82.9 para 132.7 tokens quando a resolução de saída foi selecionada, pelo que a resolução é o principal fator de custo aqui.

Beeble SwitchX: altere o primeiro fotograma, mas mascare o resto

O SwitchX não redesenha o fotograma inteiro. Mantém o original e altera apenas o que a máscara deixa aberto, razão pela qual os seus resultados não apresentam os artefactos de geração habituais e por que relumina os objetos para combinarem com o novo ambiente. O trabalho acontece antes da ferramenta de vídeo: edita o primeiro fotograma num modelo de imagem — o GPT Image 2 na lição — e o SwitchX aplica essa alteração ao longo do clipe.

• Do dia para a noite em balões de ar quente: o primeiro fotograma transformado num céu noturno com balões brilhantes, utilizando a máscara Fill, que cobre todo o fotograma. Os balões voam exatamente como antes.
• A horse to a white unicorn: a máscara Select. O branco marca o que permanece e o preto o que é redesenhado, por isso o cavalo foi delineado e a máscara invertida. O apresentador também pintou a área para onde a cauda oscila, caso contrário a cauda antiga teria permanecido.
• De um campo para um bar: o cavaleiro e o unicórnio delineados e deixados em branco, para que apenas o ambiente mudasse.
• De roupa de ginásio a fato: o contorno desenhado com uma margem em redor do corpo, porque uma seleção demasiado apertada falha por vezes.

O prompt mal importa aqui: apenas uma linha geral sobre o plano. O fotograma editado faz o trabalho, por isso, quanto mais precisamente ele mostrar a alteração, menos terá de escrever.

Veo Omni Flash: barato, rápido, por vezes desorganizado

O Omni Flash utiliza o vídeo de origem e até cinco imagens de referência, ou várias imagens, e um prompt curto. A sua vantagem é o preço: 14 tokens contra bem mais de cem para os outros dois. A lição é franca sobre o custo disso: as gerações por vezes contêm defeitos, e a solução é regenerar, o que é barato.

Substituiu o fundo de uma estatueta a dançar por uma praia de uma foto de localização, e substituiu uma mala por uma de uma foto de referência com sombras e luz solar correspondentes. Apenas através de um prompt de texto, transformou um rifle num brinquedo de água, com líquido a agitar-se no interior. Ao ser solicitado para remover o rifle por completo, deixou vestígios junto às palmeiras — o pretexto para outra tentativa. Também aplicou restyle num clip de snowboard para claymation, um banda desenhada retro e pixel art, usando um fotograma restylizado para cada um, mantendo o movimento do praticante e a câmara inalterados.

Duas regras de prompt da lição: escreva em inglês, porque o modelo é mais estável nessa língua, e indique apenas a intenção — o que mudar e o que manter. Insira cada tag de referência onde o seu elemento é nomeado.

Mais três: Genjutsu, Aleph e Kling O1 Edit

Estas três levam a mesma ideia mais longe: carrega o clipe, descreve a alteração e anexa o novo objeto como referência. Nenhuma delas lhe pede para desenhar uma máscara; cada uma encontra e segue o objeto através das palavras. Isso é mais rápido, mas é também onde falham, como o nosso próprio trabalho demonstra.

Genjutsu num trabalho real: os livros que encontrou e as folhas que não encontrou

O nosso caso foi uma montagem de 108 segundos na qual mais de dez pessoas, cada uma filmada separadamente, seguram um livro, um cartão ou uma folha de papel em branco, e cada uma delas tinha de passar a segurar o mesmo livro verde. O prompt era explícito: substituir cada livro e cada papel ou cartão branco segurado pelo livro verde da referência, manter as mãos à frente, não alterar mais nada.

O Genjutsu trocou os livros que reconheceu como livros. Um participante segurava um livro verde diferente, filmado de forma espelhada por uma câmara de selfie; o resultado foi a nossa capa, na orientação correta, com o título, o emblema da árvore e ambas as mãos intactas.

Deixou cada folha em branco como uma folha em branco, embora o prompt as tivesse nomeado, e omitiu um livro azul num segmento posterior. Um modelo que encontra um objeto através de palavras decide por si próprio o que conta como objeto, e uma folha de papel não contou.

Tivemos de dividir o vídeo em cortes separados e substituir os objetos um a um: um corte com um livro, depois cortes com folhas em branco, cada um editado para mostrar o livro verde que queríamos.

Runway Aleph 2.0

Runway posiciona o Aleph como o editor para filmagens reais: substitua um produto ou uma personagem, remova um objeto, altere o fundo ou o figurino, ajuste a iluminação, adicione clima ou efeitos, tudo através de uma instrução de texto. Utiliza os clipes mais longos dos seis, até 30 segundos com até dez cortes, e tem o preço mais claro: 28 créditos por segundo editado na aplicação, com um mínimo de 56 créditos, ou $0.28 por segundo através da API. Ainda não o testámos.

Kling O1 Edição

O editor do Kling funciona através de linguagem natural com até quatro referências: identifique uma personagem como @Element1 e uma imagem de estilo como @Image1 na instrução, e ele mantém o movimento original enquanto substitui o que nomeou. Os clipes têm entre 3 e 10 segundos e, a $0.168 por segundo em fal ($0.126 para o nível Standard), é o mais barato por segundo entre os editores pagos aqui. Também ainda não o testámos.

Qual escolher

1. O objeto é plano e rígido — um livro, um sinal, um ecrã, um rótulo: rastreie os seus cantos e fixe a substituição. Sem modelo, sem mãos redesenhadas, sem preço por segundo.
2. Um objeto deve mudar e tudo o resto deve permanecer pixel a pixel idêntico — SwitchX, se o clipe tiver 10 segundos ou menos e conseguir editar o primeiro fotograma de forma convincente.
3. Substituição de produto, objeto ou vestuário a partir de fotos de referência — Genjutsu, e depois verifique cada instância que deveria ter sido detetada.
4. Um objeto deve ser substituído, removido ou adicionado, e prefere apontar em vez de aplicar uma máscara — Seedance 2.5 Editor.
5. Filmagem real até 30 segundos com um preço claro por segundo — Aleph; para clipes de 10 segundos ou menos onde o preço é importante, Kling O1 Edit.
6. Ainda está a explorar, ou a mudança é o visual completo — Omni Flash, com algumas regenerações incluídas no orçamento; é suficientemente barato para que três tentativas custem menos do que uma execução dos outros.

Independentemente do editor que utilize, recorte qualquer rosto no plano em tamanho real face à fonte antes de manter a tomada. Uma edição que deixe o objeto correto mas a pessoa ligeiramente diferente não salvou o plano.

Fontes

• SYNTX.AI Academy: “Edição de vídeo seletiva em Seedance”, “Como alterar elementos individuais num vídeo” (Beeble SwitchX) e “Edição de vídeo simples com prompts” (Omni Flash)
• Higgsfield: Conheça o Genjutsu e a página do Genjutsu
• Runway Aleph 2.0: funcionalidades e preços
• Kling O1 Edit na fal