O que um gerador de vídeo por IA faz realmente

Um modelo de vídeo recebe uma descrição e quaisquer imagens ou clipes que anexe, e prevê uma sequência de fotogramas. Não tem memória entre execuções, pelo que nada é transferido da sua última tomada, a menos que a anexe novamente. Esse facto explica a maior parte do trabalho técnico: imagens de referência, folhas de personagem e fotogramas partilhados são formas de dar ao modelo o que ele não consegue recordar.

A maioria dos produtos com que irá encontrar dividem-se em três grupos, e ajuda saber qual está a comprar:

Cinco formas de gerar, e quando utilizar cada uma

O input de que parte importa mais do que o nome da marca. É assim que escolhemos:

Qual entrada se adequa a cada tarefa.
MétodoVocê forneceUse quandoPonto fraco
Texto para vídeoUm prompt escritoEstá a explorar uma ideia e não é necessário um visual exatoRostos, locais e detalhes de marca mudam de execução para execução
Imagem para vídeoUma imagem, por vezes também o último fotogramaAprovou o visual e quer que ele se movaUma imagem fraca produz um plano fraco
Referência ao vídeoVárias imagens, cada uma com uma funçãoA mesma pessoa, produto ou lugar tem de reaparecer noutros planosMais referências podem significar menos controlo
Vídeo para vídeoUm clip mais imagens ou instruçõesO movimento está correto, mas o que está no plano está erradoAlgumas ferramentas regeneram a performance em vez de a manter
Avatar e lip syncUma foto ou clipe, mais uma vozUma pessoa tem de falar para a câmaraOs gestos são inventados ou a boca suaviza

Texto para vídeo: quando as palavras bastam

A geração apenas de texto é a forma mais rápida de testar uma ideia e a menos fiável de a concluir. Raramente a utilizamos para trabalhos entregues, porque cada execução inventa uma nova pessoa e um novo lugar. Continua a ser útil para testes de ambiente, B-roll sem um sujeito recorrente e para descobrir o que um modelo faz com uma frase.

Um prompt que funciona nomeia as coisas nesta ordem: formato e duração, sujeito, cenário, um movimento de câmara, luz e, por fim, som. Mantenha apenas uma ação a cada poucos segundos. Quando pedimos uma cena de comédia completa em 8 segundos, os modelos perderam alguns tempos e reordenaram outros. Quando pedimos um grande movimento de câmara num plano curto, a câmara oscilou por cima em menos de dois segundos, porque era a única forma de encaixar o percurso no tempo disponível.

O percurso de uma ideia até um filme finalizado

  1. Divida a ideia em planos. Escreva uma linha por plano: o que acontece, quanto tempo dura e o que o espectador deve notar. A maioria dos planos de IA funciona melhor entre 3 e 6 segundos.
  2. Aprove as imagens antes de qualquer vídeo. As imagens custam cêntimos e o vídeo custa dólares. Edite a última imagem aprovada e altere apenas uma coisa por pedido. No nosso teste, isso exigiu 8 pedidos, enquanto um chat comum teria exigido 26 mensagens e 33 imagens.
  3. Crie folhas para tudo o que se repete. Personagens, produtos e locais recebem cada um uma referência. Eis como os mantemos consistentes.
  4. Teste com uma execução curta e económica. Rascunho em 720p ou inferior enquanto o prompt ainda está a ser ajustado. O nosso teste de talking-head utilizou um segmento de cinco segundos de um clipe de 48 segundos antes de pagar pela duração total.
  5. Gere tomadas e avalie-as. Corte rostos em tamanho real. Reproduza edições ao lado da fonte. Guarde os segundos bons, mesmo em tomadas que rejeitar.
  6. Monte, depois adicione som e legendas. Ligar cenas tem as suas próprias armadilhas, principalmente nas junções.
  7. Faça o upscale por último, e apenas se for necessário. 4K e 60 fps podem expor o metraje gerado.

Para ter uma ideia de como isto fica quando terminado, One Prompt Studio resultou de uma única geração de 30 segundos, e o promo da Lisbon AI week foi cortado de cinco planos feitos em três modelos diferentes.

Quanto custa e quanto tempo demora

Numa API de pagamento por utilização, 5 segundos a 1080p custam entre $0.40 e $5.69 pelo preço de tabela. Trinta segundos no Wan 3.0 custam $6.00 por uma tomada, razão pela qual criámos um estimador de custos que contabiliza as novas tomadas e o seu próprio tempo. A geração em si varia entre cerca de 20 e 66 segundos de espera por cada segundo de vídeo, de acordo com a configuração que registámos. Os dados de tempo estão aqui.

Deve fazer por si próprio ou contratar alguém?

Faça você mesmo quando tiver tempo, o visual pode variar e alguns segundos maus não prejudicarão ninguém. Os nossos workshops ensinam precisamente isso. Contrate quando uma marca, um produto ou uma pessoa real tiver de parecer correta em cada plano e o prazo for fixo. É para isso que serve o nosso serviço de produção, e este guia de anúncios de IA mostra como o trabalho funciona.

Uma nota sobre videoclipes de música por IA

Não produzimos um videoclipe de IA, por isso não classificaremos ferramentas para esse fim. As técnicas que se aplicam são as acima: folhas de guia para o intérprete, planos curtos cortados ao ritmo e imagem antes do vídeo. Um videoclipe completo também exige uma continuidade mais longa do que os curtas-metragens no nosso portefólio, por isso teste um verso antes de se comprometer com uma música inteira.

Da ideia à exportação num só lugar

Estou a construir o easyai.video para que as referências, tomadas e a montagem permaneçam unidas enquanto os modelos mudam por baixo. Está em fase de desenvolvimento final. Adira à lista de espera e eu avisarei quando abrir.

Junte-se à lista de espera ↗