Замена людей и локаций в существующем видео: какие ИИ-инструменты сохраняют движение

Тестовое видео - это 16-секундный рекламный ролик с одиннадцатью монтажными склейками. Задача заключалась в том, чтобы сохранить каждую склейку, движение камеры и жест, заменив всё остальное: пять главных героев, пять локаций, фирменный цвет, а также все субтитры, логотипы и плавающую графику. Каждый новый человек и место сначала создавались как статичное изображение и утверждались, и все нижеперечисленные инструменты использовали одни и те же исходные изображения.

Результат требовался в форматах 9:16 и 16:9, что разделяет работу на две разные задачи. Замена меняет содержимое кадра и должна сохранять движение. Рефрейминг превращает готовый вертикальный монтаж в широкоэкранный, достраивая недостающие боковые части. В этой заметке оба метода сравниваются на одном и том же видеоматериале.

Замена: что позволило сохранить движение

Тест прост. Проиграйте результат рядом с исходником: продолжают ли все люди двигаться, поворачиваться и пересекать кадр в тот же самый момент, и остались ли склейки на своих местах?

Seedance 2.5 сохранил говорящую голову лучше всего в нашем тесте комнаты и наряда, поэтому его неудачу здесь нужно как-то описать. В Dreamina видео вместе с референсными изображениями проходит через мультимодальный режим, который генерирует новый клип на основе видео. Переключателя монтажа нет. Люди и места подобраны верно, но актерская игра - нет.

Два пути не были задействованы. H3 Max Recast на fal меняет только людей (до четырех), при этом локации, цвет и текст остались бы прежними. Kling O3 Edit выстраивает каждую замену вокруг одного главного персонажа, поэтому для кадра с несколькими людьми потребуется отдельный прогон для каждого человека.

Wan 3.0 требуются короткие проходы

Wan 3.0 принимает до 15 секунд исходного видео и десять референсных изображений, поэтому логичным шагом был бы один прогон для всей оставшейся части клипа. Мы попробовали: шесть кадров, девять изображений и длинный список инструкций на 9.55 секунде. Wan перерисовал каждого человека, но пропустил почти всё остальное. Субтитры, плавающая карточка приложения, вывески и наклейки оригинального магазина сохранились, и две локации сохранили свой первоначальный вид.

Если разбить работу на прогоны по два кадра, используя для каждого только те два-три изображения, которые необходимы этим кадрам, и указав в промпте все оставшиеся элементы, то те же самые кадры получаются чистыми.

Рефрейминг: растягивание вертикального монтажа до 16:9

Более дешевым вариантом было оставить утвержденный вертикальный монтаж и сделать outpainting: поместить кадр 9:16 в центр холста 16:9 и позволить модели дорисовать левую и правую стороны. Проблема в геометрии. Кадр 9:16 занимает лишь около трети кадра 16:9, так что две трети каждого изображения - это выдумка.

Тот же кадр пятью способами

Три варианта рефрейминга вертикального кадра, затем тот же кадр двумя путями монтажа, которые начинались с исходного горизонтального футажа. Все пять вариантов воспроизводятся в их родном разрешении.

Центральный кадр каждого результата в полном размере: левая сторона, мужчина за стойкой, правая сторона.

Монтаж выигрывает, и это очевидно. Монтаж начинается с реального широкого кадра, поэтому по краям сохраняется реальная геометрия, реальная глубина и реальные люди. Рефрейминг же вынужден их выдумывать, и на двух третях кадра эта выдумка становится заметна. Рефрейминг стоит использовать для небольших дополнений, вроде полоски стены или неба, но не для того, чтобы превращать вертикальный монтаж в горизонтальный.

Стоимость каждого запуска

Каждый вариант рассчитан на 5 секунд видео по стандартным ценам, чтобы строки можно было сравнивать напрямую. Кредиты Higgsfield считаются по плану Plus с ежемесячной оплатой, $59 за 1,200 кредитов. Кредиты Kling.ai считаются по плану Standard с ежемесячной оплатой, $8.80 за 660 кредитов. Тарифы меняются; проверяйте актуальные данные на fal, Higgsfield и Kling.ai.

Основные выводы

1. Сначала создайте статические изображения. Во всех вышеуказанных вариантах использовались одни и те же утвержденные люди и места, что позволило сохранить единство актерского состава в разных инструментах и форматах.
2. Проверьте, что инструмент редактирует, а не перегенерирует. Сравните результат с исходником. Если люди стоят неподвижно или меняется кадрирование, значит, это была новая генерация.
3. Делайте каждый проход монтажа небольшим. Два или три кадра, только те изображения, которые необходимы этим кадрам, и все лишние элементы, указанные в промпте. Перегруженный проход меняет внешность людей и незаметно пропускает остальное.
4. Выбор для каждого кадра. Kling 4.0 для замены локаций, Wan 3.0, когда важна толпа на фоне. Оба варианта сохраняют монтаж, поэтому кадры плавно сменяют друг друга.
5. Переделайте каждый формат на основе его источника. Если есть горизонтальный оригинал, отредактируйте его. При дорисовывании (outpainting) вертикального монтажа создается две трети кадра.
6. Удаляйте неиспользуемые кадры перед оплатой. Монтаж также тарифицируется по секундам входных данных, поэтому отсекайте кадры, которые не вошли в финальный монтаж.

Кнопки промптов показывают структуру использованных нами запросов, где детали конкретного кадра заменены плейсхолдерами в квадратных скобках.

Remake this 16-second ad as if it were filmed in [new setting]. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

REFERENCES:
- @Image1 replaces [the person in shot A] ([time range]); the place becomes @Image6.
- @Image2 replaces [the person in shot B] ([time range]); the place becomes @Image7.
- ... one line per person and place, with the time ranges where they appear.

PEOPLE: everyone else is [what the extras should look like].
CLOTHING: [the wardrobe rule for extras].
COLOUR PALETTE: replace every [old brand colour] with [new palette]. No [old brand colour] anywhere.
PHONE SCREENS: [what every visible screen shows].
REMOVE COMPLETELY: all subtitles, small legal text, the source logo, floating graphics and all signs and lettering. Add no new text.

Edit [Video 1]: Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

0.0-2.5s: [the person in shot A] becomes the person in [Image: person A] ([outfit]); the place becomes [Image: place A].
2.5-4.8s: [the person in shot B] becomes the person in [Image: person B]; the place becomes [Image: place B]. [The extra who crosses the frame] becomes [description].

Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit @Video1. Keep every cut, camera move, framing, body movement, hand gesture and timing exactly as in the source; change only the people, clothing, locations, colours and text. Each replacement person keeps the face, hair and complete outfit of their image.

First shot (0.0-2.5s): [the person in shot A] becomes the person in @Image1 ([outfit]); the place becomes [new place] in @Image2.
Second shot (2.5-4.8s): [the person in shot B] becomes the person in @Image3; the place becomes @Image4. [The extra who crosses the frame] becomes [description], with the same walk and timing.

Every other person is [what the extras should look like]. Replace every [old brand colour] with [new palette]; no [old brand colour] anywhere. Remove all subtitles, small legal text, floating graphics and all signs and lettering; add no new text. Keep everything else unchanged. Real handheld footage, [light], no glossy CGI look.

Edit Video 1: keep both shots, the cut, every camera move, hand and body movement and the timing exactly; change only what is listed.

Shot 1 (0.0-1.1s): replace [the person] with the person in Image 1, same face, hair and outfit. Change the [place] into the [new place] in Image 2: [three or four concrete features of the new place]. Remove every sign and sticker: [name each leftover from the source, word for word].
Shot 2 (1.1-2.2s): [the hands, props or screen and what they become]. [Any object that keeps the old colour] becomes [new colour].

Change every [old brand colour] to [new palette]; no [old brand colour] anywhere. Remove all subtitles including [the exact word on screen], floating chips and all lettering; add no new text. Real handheld footage, [light].

Continue the same [place] to the left and right: [materials, fittings and props already visible in the frame], and [what lies beyond it] with a few passers-by. Same camera, light and colour grade as the source. No text, signs or logos.