Редактирование одного объекта в видео: сравнение шести инструментов

Дубль почти идеален. Движение камеры, тайминг и человек подобраны верно, но есть одна ошибка: вместо нужного объекта — грузовик, или корзина с фруктами, которой там быть не должно, или не та куртка. Перегенерация всего кадра для исправления ошибки означает потерю всего, что получилось хорошо. Вам нужен монтаж, который затронет только один объект, не меняя остальную часть клипа.

Для этого созданы шесть инструментов. Для трех из них есть уроки в бесплатной академии SYNTX.AI с примерами и указанием цены, которую они показывают в интерфейсе. Еще три — Higgsfield Genjutsu, Runway Aleph 2.0 и Kling O1 Edit — описаны на страницах их разработчиков, и один из них мы использовали в реальном проекте, кадры которого приведены ниже. Все остальное мы не запускали самостоятельно.

Три инструмента из уроков SYNTX

Seedance 2.5 Редактор: отметьте, назовите, остальное сохраните

Учебный клип — это машина, мчащаяся через оживленный рынок, представленная в трех вариантах монтажа. Чтобы заменить два самосвала идущими слонами, ведущий указал стрелкой на каждый грузовик в кадре, где были видны оба, подтвердил выбор и написал рядом с тегом, появляющимся в промпте: замените два грузовика на двух слонов на том же месте, а остальные кадры оставьте без изменений. Машина по-прежнему едет между ними; толпа, зонты и движение камеры остались нетронутыми.

Удаление объекта прошло так же: прямоугольник вокруг корзины с фруктами был выбран на кадре перед тем, как она опрокинулась. В промпте было указано убрать корзину и каждый рассыпанный фрукт. Описывать фон за ними не требовалось — модель заполнила его сама. Для третьего монтажа, где обычную машину заменили на полицейскую, через иконку скрепки было добавлено референсное изображение; в итоге машина сохранила траекторию, а за колесами осталась пыль.

Шаблон для копирования: выберите кадр, на котором объект виден полностью, напишите одну короткую инструкцию своими словами и всегда заканчивайте фразой «оставьте остальные кадры без изменений». Цена выросла с 82.9 до 132.7 токенов при выборе выходного разрешения, поэтому разрешение здесь является основным рычагом управления стоимостью.

Beeble SwitchX: измените первый кадр, а остальное замаскируйте

SwitchX не перерисовывает весь кадр. Он сохраняет оригинал и изменяет только то, что остается открытым под маской, поэтому в результатах нет привычных артефактов генерации, и он переосвещает объекты в соответствии с новым окружением. Работа происходит до видеоинструмента: вы редактируете первый кадр в модели для изображений — в уроке это GPT Image 2 — а SwitchX переносит это изменение на весь клип.

• Из дня в ночь на воздушных шарах: первый кадр превратился в ночное небо со светящимися шарами с помощью маски Fill, которая покрывает весь кадр. Шары летят точно так же, как и прежде.
• Лошадь превращается в белого единорога: маска Select. Белым отмечается то, что остается, а черным — то, что перерисовывается; в данном случае контур лошади был выделен, а маска инвертирована. Презентатор также закрасил область, в которую взмахивает хвост, иначе старый хвост остался бы на месте.
• От поля к бару: всадник и единорог обведены и оставлены белыми, чтобы изменилось только окружение.
• От спортивной одежды до костюма: контур, нарисованный с отступом вокруг тела, так как слишком тесное выделение иногда дает сбои.

Здесь промпт почти не имеет значения: достаточно одной общей строки о кадре. Основную работу выполняет отредактированный кадр, поэтому чем точнее он показывает изменения, тем меньше вам нужно писать.

Veo Omni Flash: дешево, быстро, иногда небрежно

Omni Flash использует исходное видео, до пяти референсных изображений (или несколько изображений) и короткий промпт. Его преимущество — цена: 14 токенов против более чем ста у двух других моделей. Урок честно говорит о цене такого подхода: в генерациях иногда встречаются дефекты, и решение заключается в повторной генерации, которая стоит недорого.

Модель заменила фон танцующей фигурки на пляж из фотографии локации, а сумку — на сумку с референсного фото с сохранением теней и освещения. Только с помощью текстового промпта она превратила винтовку в игрушечный водяной пистолет с плещущейся внутри жидкостью. При запросе полностью удалить винтовку модель оставила следы у пальм — это повод для еще одной попытки. Также она превратила клип со сноубордистом в пластилиновую анимацию, ретро-комикс и пиксель-арт, используя по одному рестайлинговому кадру, при этом движение райдера и работа камеры остались неизменными.

Два правила составления промптов из урока: пишите на английском, так как модель работает в нем стабильнее, и указывайте только намерение — что изменить, а что оставить. Вставляйте каждый тег референса там, где указан соответствующий элемент.

Еще три: Genjutsu, Aleph и Kling O1 Edit

Эти три варианта развивают одну и ту же идею: вы загружаете клип, описываете изменения и прикрепляете новый объект в качестве референса. Ни один из них не требует рисовать маску; каждый находит и отслеживает объект по текстовому описанию. Это быстрее, но именно здесь они чаще всего ошибаются, как показывает наш опыт.

Genjutsu в реальной работе: найденные книги и те, что остались за кадром

Нашим кейсом был 108-секундный монтаж, в котором более десяти человек, снятых по отдельности, держат книгу, карточку или чистый лист бумаги, и у каждого из них должна была появиться одна и та же зеленая книга. Промпт был четким: заменить каждую книгу и каждый белый лист или карточку, которые держат в руках, на зеленую книгу из референса, оставить руки на переднем плане, не менять ничего другого.

Genjutsu заменил книги, которые он распознал как книги. Один участник держал другую зеленую книгу, снятую зеркально на селфи-камеру; в итоге она превратилась в нашу обложку, в правильной ориентации, с названием, эмблемой дерева и обеими руками в сохранности.

Оно оставило каждый чистый лист пустым, хотя в промпте они были упомянуты, и пропустило синюю книгу в более позднем сегменте. Модель, которая находит объект по словам, сама решает, что считать объектом, и лист бумаги таковым не признала.

Нам пришлось разделить видео на отдельные монтажные склейки и заменять объекты по одному: склейка с книгой, затем склейки с чистыми листами, и каждая редактировалась так, чтобы показать нужную нам зеленую книгу.

Runway Aleph 2.0

Runway позиционирует Aleph как редактор для реальных съемок: заменяйте продукт или персонажа, удаляйте объекты, меняйте фон или гардероб, освещение, добавляйте погоду или эффекты — и всё это с помощью текстовой инструкции. Сервис работает с самыми длинными клипами из шести, до 30 секунд с количеством монтажных склеек до десяти, и имеет прозрачную цену: 28 кредитов за секунду отредактированного видео в приложении (минимум 56 кредитов) или $0.28 за секунду через API. Мы не проводили тестирование.

Kling O1 Редактирование

Редактор Kling работает на основе текстовых запросов с использованием до четырех референсов: в инструкции можно пометить персонажа как @Element1, а стилистическое изображение — как @Image1; при этом сохраняется оригинальное движение, но меняются указанные вами объекты. Длительность клипов составляет от 3 до 10 секунд, а при цене 0.168 за секунду на fal (0.126 для тарифа Standard) это самый дешевый вариант в расчете на секунду среди платных редакторов. Мы также его не тестировали.

Что выбрать

1. Объект плоский и жесткий — книга, вывеска, экран, этикетка: отслеживайте его углы и накладывайте замену. Без использования модели, без перерисовки рук, без оплаты за секунду.
2. Один объект должен измениться, а всё остальное должно остаться пиксель-в-пиксель идентичным — SwitchX, если клип длится 10 секунд или меньше и вы можете убедительно отредактировать первый кадр.
3. Замена продукта, реквизита или наряда по референсным фото — Genjutsu, затем проверьте каждый случай, который модель должна была обработать.
4. Нужно заменить, удалить или добавить объект, и вы предпочитаете указывать, а не маскировать — Seedance 2.5 редактор.
5. Реальные футажи длительностью до 30 секунд с четкой ценой за секунду — Aleph; для клипов длительностью 10 секунд или менее, где важна цена, используйте Kling O1 Edit.
6. Вы еще в процессе поиска или хотите полностью изменить визуальный стиль — выбирайте Omni Flash с учетом нескольких регенераций; это достаточно дешево, так что три попытки обойдутся меньше, чем один запуск других моделей.

Какой бы редактор вы ни использовали, перед тем как оставить дубль, кадрируйте любое лицо в кадре в полном размере относительно исходника. Монтаж, который сохраняет объект правильным, но слегка меняет человека, не спасает кадр.

Источники

• SYNTX.AI Academy: «Выборочный монтаж видео в Seedance», «Как изменить отдельные элементы в видео» (Beeble SwitchX) и «Простой видеомонтаж с помощью промптов» (Omni Flash)
• Higgsfield: знакомство с Genjutsu и страницей Genjutsu
• Runway Aleph 2.0: возможности и цены
• Kling O1 Edit на fal