Заміна людей та локацій у наявному відео: які інструменти ШІ зберігають рух

Тестове відео - це 16-секундна реклама з одинадцями монтажними склейками. Завдання полягало в тому, щоб зберегти кожну склейку, рух камери та жест, але замінити все інше: п'ять головних героїв, п'ять локацій, фірмовий колір бренду, а також усі субтитри, логотип та графіку. Кожен новий персонаж і локація спочатку створювалися як стоп-кадр і затверджувалися, а потім ці ж зображення використовувалися в усіх наведених нижче інструментах.

Результат був потрібен у форматі 9:16 та 16:9, що розділяє роботу на два різні завдання. Заміна змінює те, що знаходиться в кадрі, і має зберігати рух. Рефрейм перетворює готовий вертикальний монтаж на широкоформатний, добудовуючи відсутні бокові частини. У цій замітці порівнюються обидва методи на одному й тому ж відео.

Заміна: що дозволило зберегти рух

Тест простий. Програйте результат поруч із джерелом: чи продовжують усі люди рухатися, повертатися та перетинати кадр у той самий момент, і чи залишилися склейки на своїх місцях?

Seedance 2.5 зберіг найкращий варіант «говорячої голови» під час нашого тестування кімнати та вбрання, тому його невдача тут потребує пояснення. У Dreamina відео разом із референсними зображеннями проходить через мультимодальний режим, що генерує новий кліп на основі відео. Перемикача монтажу немає. Люди та локації були правильними, але гра акторів - ні.

Два шляхи не були використані. H3 Max Recast на fal замінює лише людей (до чотирьох осіб) і залишив би локації, колір та текст. Kling O3 Edit будує кожну заміну навколо одного головного персонажа, тому для кадру з кількома людьми знадобиться окремий запуск для кожної особи.

Wan 3.0 потребує коротких дублів

Wan 3.0 приймає до 15 секунд вихідного відео та десять референсних зображень, тому логічним кроком був би один запуск для всієї решти кліпу. Ми спробували: шість кадрів, дев'ять зображень і довгий список інструкцій, на 9.55 секунді. Wan замінив кожного персонажа, але пропустив більшість іншого. Субтитри, плаваюча картка додатка, а також вивіски та наклейки магазину з джерела збереглися, і дві локації залишили свій оригінальний вигляд.

Розбивши роботу на запуски по два кадри, де для кожного використовується лише по два або три необхідні зображення, і вказавши в промпті всі зайві елементи, ми отримали чисті кадри.

Перекадрування: розтягування вертикального монтажу до 16:9

Дешевшою ідеєю було залишити затверджений вертикальний монтаж і зробити outpainting: помістити 9:16 кадр у центр 16:9 полотна і дозволити моделі замалювати ліву та праву сторони. Проблема в геометрії. 9:16 кадр займає лише приблизно третину від 16:9 кадру, тому дві третини кожного зображення є вигаданими.

Один і той самий кадр у п'яти варіантах

Три варіанти рефрейму вертикального кадру, а потім той самий кадр двома шляхами монтажу, що починалися з оригінального горизонтального відео. Усі п'ять варіантів відтворюються у власній роздільній здатності.

Один і той самий середній кадр кожного результату у повному розмірі: ліва сторона, чоловік за стійкою, права сторона.

Монтаж перемагає, і тут навіть немає конкуренції. Монтаж починається з реального широкого кадру, тому його краї мають реальну геометрію, реальну глибину та реальних людей. Рефреймінг змушений їх вигадувати, і на двох третинах кадру ця вигадка стає помітною. Рефреймінг варто використовувати для дрібних доповнень, наприклад, смужки стіни чи неба, але не для того, щоб перетворювати вертикальний монтаж на горизонтальний.

Вартість кожного дублю

Кожен варіант розраховано на 5 секунд відео за стандартними цінами, тому рядки можна порівнювати безпосередньо. Кредити Higgsfield рахуються за планом Plus із щомісячною оплатою, $59 за 1,200 кредитів. Кредити Kling.ai рахуються за планом Standard із щомісячною оплатою, $8.80 за 660 кредитів. Тарифи змінюються; перевіряйте fal, Higgsfield та Kling.ai для актуальних даних.

Основні висновки

1. Спочатку зробіть стоп-кадри. У кожному з наведених вище варіантів використовувалися ті самі затверджені люди та локації, що дозволило зберегти послідовність акторського складу в різних інструментах і форматах.
2. Перевірте, чи інструмент редагує, а не генерує заново. Порівняйте результат із вихідним матеріалом. Якщо люди стоять нерухомо або змінюється кадрування, це була нова генерація.
3. Тримайте кожен цикл редагування невеликим. Два або три кадри, лише ті зображення, які потрібні цим кадрам, і кожна зайва деталь, зазначена в промпті. Перевантажений цикл змінює зовнішність людей і непомітно пропускає решту.
4. Обирайте для кожного кадру. Kling 4.0 для заміни локацій, Wan 3.0, коли важлива натовп на фоні. Обидва варіанти зберігають монтаж, тому кадри плавно переходять один в одного.
5. Переробляйте кожен формат з його джерела. Якщо є горизонтальний оригінал, відредагуйте його. Домальовування (outpainting) вертикального монтажу створює дві третини кадру.
6. Вирізайте невикористані кадри перед оплатою. Монтаж також тарифікується за вхідні секунди, тому видаляйте кадри, які не входять до фінального монтажу.

Кнопки підказок відображають структуру використаних нами промптів, де деталі конкретного кадру замінені на заповнювачі у квадратних дужках.

Remake this 16-second ad as if it were filmed in [new setting]. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

REFERENCES:
- @Image1 replaces [the person in shot A] ([time range]); the place becomes @Image6.
- @Image2 replaces [the person in shot B] ([time range]); the place becomes @Image7.
- ... one line per person and place, with the time ranges where they appear.

PEOPLE: everyone else is [what the extras should look like].
CLOTHING: [the wardrobe rule for extras].
COLOUR PALETTE: replace every [old brand colour] with [new palette]. No [old brand colour] anywhere.
PHONE SCREENS: [what every visible screen shows].
REMOVE COMPLETELY: all subtitles, small legal text, the source logo, floating graphics and all signs and lettering. Add no new text.

Edit [Video 1]: Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

0.0-2.5s: [the person in shot A] becomes the person in [Image: person A] ([outfit]); the place becomes [Image: place A].
2.5-4.8s: [the person in shot B] becomes the person in [Image: person B]; the place becomes [Image: place B]. [The extra who crosses the frame] becomes [description].

Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit @Video1. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

First shot (0.0-2.5s): [the person in shot A] becomes the person in @Image1 ([outfit]); the place becomes [new place] in @Image2.
Second shot (2.5-4.8s): [the person in shot B] becomes the person in @Image3; the place becomes @Image4. [The extra who crosses the frame] becomes [description], with the same walk and timing.

Every other person is [what the extras should look like]. Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit Video 1: keep both shots, the cut, every camera move, hand and body movement and the timing exactly; change only what is listed.

Shot 1 (0.0-1.1s): replace [the person] with the person in Image 1, same face, hair and outfit. Change the [place] into the [new place] in Image 2: [three or four concrete features of the new place]. Remove every sign and sticker: [name each leftover from the source, word for word].
Shot 2 (1.1-2.2s): [the hands, props or screen and what they become]. [Any object that keeps the old colour] becomes [new colour].

Change every [old brand colour] to [new palette]; no [old brand colour] anywhere. Remove all subtitles including [the exact word on screen], floating chips and all lettering; add no new text. Real handheld footage, [light].

Continue the same [place] to the left and right: [materials, fittings and props already visible in the frame], and [what lies beyond it] with a few passers-by. Same camera, light and colour grade as the source. No text, signs or logos.