Редагування одного об'єкта у відео: порівняння шести інструментів

Дубль майже вдалий. Рух камери хороший, таймінг правильний, людина виглядає добре, але є одна помилка: замість потрібного об'єкта — вантажівка, або кошик з фруктами, якого там не має бути, або не та куртка. Перегенерація всього кадру для виправлення помилки означає втрату всього, що було вдалим. Вам потрібен монтаж, який змінить лише один об'єкт, не чіпаючи решту кліпу.

Для цього створено шість інструментів. Для трьох із них є окремий урок у безкоштовній Академії SYNTX.AI з розібраними прикладами та ціною, яку показував інтерфейс. Про ще три — Higgsfield Genjutsu, Runway Aleph 2.0 та Kling O1 Edit — описано на сторінках їхніх розробників, і один із них ми використовували в реальному проєкті, кадри якого наведено нижче. Все інше ми не тестували самостійно.

Три інструменти з уроків SYNTX

Seedance 2.5 Редактор: позначте, назвіть, залиште решту

У навчальному кліпі показано автомобіль, що мчить через оживлений ринок, змонтований трьома різними способами. Щоб замінити два самоскиди на слонів, що йдуть, ведучий вказав стрілкою на кожен вантажівку на кадрі, де було видно обидві, підтвердив вибір і написав поруч із тегом, що з'являється в промпті: заміни два вантажівки на двох слонів на тому ж місці, і не змінюй інші кадри. Автомобіль все ще їде між ними; натовп, парасольки та рух камери залишилися без змін.

Видалення відбулося так само: прямокутник навколо кошика з фруктами, обраний на кадрі перед тим, як він перекинеться. У промпті було зазначено, що кошик і кожен розсипаний фрукт мають зникнути. Не було потреби описувати фон за ними; модель заповнила його сама. Для третього монтажу, де звичайну машину замінили на поліцейську, через скріпку було додано референсне зображення, і автомобіль зберіг свою траєкторію та пил під колесами.

Шаблон для копіювання: виберіть кадр, де об'єкт видно повністю, напишіть одну коротку інструкцію своїми словами та завжди закінчуйте фразою «залиште інші кадри без змін». Ціна зросла з 82.9 до 132.7 токенів після вибору роздільної здатності виводу, тож саме роздільна здатність є основним важелем впливу на вартість.

Beeble SwitchX: змініть перший кадр, замаскуйте решту

SwitchX не перемальовує весь кадр. Він зберігає оригінал і змінює лише те, що залишає відкритим маска; саме тому в його результатах немає звичних артефактів генерації, і саме тому він змінює освітлення об'єктів відповідно до нового оточення. Робота відбувається до використання відеоінструменту: ви редагуєте перший кадр в імідж-моделі — GPT Image 2 у цьому уроці — а SwitchX переносить цю зміну через увесь кліп.

• З дня в ніч на повітряних кулях: перший кадр перетворено на нічне небо з сяючими кулями за допомогою маски Fill, яка охоплює весь кадр. Кулі летять точно так само, як і раніше.
• Кінь перетворюється на білого єдинорога: маска Select. Білий колір позначає те, що залишається, а чорний — те, що перемальовується; тому кінь був обведений контуром, а маску було інвертовано. Презентатор також зафарбував область, куди рухається хвіст, інакше старий хвіст залишився б на місці.
• Поле до бару: вершник і єдиноріг обведені та залишені білими, щоб змінилося лише оточення.
• Зміна спортивного одягу на костюм: контур, намальований з відступом навколо тіла, оскільки занадто щільне виділення іноді пропускає деталі.

Тут промпт майже не має значення: лише один загальний рядок про план. Основну роботу виконує відмонтований кадр, тож чим точніше він відображає зміну, тим менше вам потрібно писати.

Veo Omni Flash: дешево, швидко, іноді неакуратно

Omni Flash використовує вихідне відео та до п'яти референтних зображень (або кілька зображень) і короткий промпт. Його перевага — ціна: 14 токенів проти понад ста у двох інших варіантів. Цей підхід чесно говорить про ціну: генерації іноді містять дефекти, і рішення полягає в тому, щоб перегенерувати, що коштує недорого.

Він замінив фон танцюючої фігурки на пляж із фото локації, а сумку — на сумку з референсного фото з відповідними тінями та сонячним світлом. Тільки за допомогою текстового промпту він перетворив гвинтівку на іграшковий водяний пістолет із рідиною, що плескається всередині. На запит повністю видалити гвинтівку він залишив залишки біля пальм — це привід для ще однієї спроби. Він також перетворив кліп зі сноубордистом на пластилінову анімацію, ретро-комікс та піксель-арт, використовуючи по одному рестайленому кадру, при цьому рух райдера та камера залишилися незмінними.

Два правила написання промптів із уроку: пишіть англійською, оскільки модель працює в ній стабільніше, і вказуйте лише намір — що змінити, а що залишити. Вставляйте кожен референс-тег там, де названо відповідний елемент.

Ще три: Genjutsu, Aleph та Kling O1 Редагування

Ці три варіанти розвивають ту саму ідею: ви завантажуєте кліп, описуєте зміну та додаєте новий об'єкт як референс. Жоден із них не вимагає малювання маски; кожен знаходить і відстежує об'єкт за текстовим описом. Це швидше, але саме тут вони також зазнають невдач, як показує наш досвід.

Genjutsu у реальній роботі: знайдені книги та те, що залишилося поза увагою

Нашим кейсом був 108-секундний монтаж, у якому понад десять людей, кожен з яких був знятий окремо, тримають книгу, картку або чистий аркуш паперу, і кожен із них мав перетворитися на ту саму зелену книгу. Промпт був чітким: замінити кожну книгу та кожен білий папір або картку, які тримають у руках, на зелену книгу з референсу, залишити руки попереду, не змінюючи нічого іншого.

Genjutsu замінив книги, які розпізнав як книги. Один учасник тримав іншу зелену книгу, зняту дзеркально на селфі-камеру; у результаті ми отримали нашу обкладинку, повернуту правильно, з цілісним заголовком, емблемою з деревом та обома руками.

Він залишив кожен чистий аркуш чистим аркушем, хоча в промпті вони були названі, і пропустив синю книгу в наступному сегменті. Модель, яка шукає об'єкт за словами, сама вирішує, що вважати об'єктом, і аркуш паперу не потрапив до цієї категорії.

Нам довелося розділити відео на окремі монтажні склейки та замінювати об'єкти по одному: склейка з книжкою, потім склейки з чистими аркушами, і кожна з них була відмонтована так, щоб показати потрібну нам зелену книжку.

Runway Aleph 2.0

Runway позиціонує Aleph як редактор для реальних зйомок: замінюйте продукти чи персонажів, видаляйте об'єкти, змінюйте фон або гардероб, налаштовуйте освітлення, додавайте погоду чи ефекти — і все це за допомогою текстової інструкції. Він бере найдовші кліпи з шести, до 30 секунд із максимально десятьма монтажними склейками, і має найпрозорішу ціну: 28 кредитів за відредаговану секунду в додатку, з мінімумом у 56 кредитів, або $0.28 за секунду через API. Ми ще не тестували цей інструмент.

Kling O1 Монтаж

Редактор Kling працює з природною мовою, використовуючи до чотирьох посилань: у запиті позначте персонажа як @Element1, а стилістичне зображення як @Image1; це дозволяє зберегти оригінальний рух, замінивши лише те, що ви назвали. Кліпи тривають від 3 до 10 секунд, і за ціною $0.168 за секунду на fal ($0.126 для тарифу Standard) це найдешевший варіант за секунду серед платних редакторів. Ми також ще не тестували його.

Який варіант обрати

1. Об'єкт є плоским і жорстким — книга, вивіска, екран, етикетка: відстежуйте його кути та накладайте заміну. Без моделей, без перемальованих рук, без ціни за секунду.
2. Один об'єкт має змінитися, а все інше має залишитися піксель-у-піксель ідентичним — SwitchX, якщо кліп триває 10 секунд або менше і ви можете переконливо відредагувати перший кадр.
3. Заміна продукту, реквізиту або вбрання за референсними фото — Genjutsu, а потім перевірте кожен випадок, який вона мала опрацювати.
4. Потрібно замінити, видалити або додати один об'єкт, і ви волієте вказувати на нього, а не створювати маску — Seedance 2.5 Редактор.
5. Реальне відео тривалістю до 30 секунд із чіткою ціною за секунду — Aleph; для кліпів тривалістю 10 секунд або менше, де важлива ціна, — Kling O1 Edit.
6. Ви все ще досліджуєте, або ж зміна стосується всього вигляду — Omni Flash із закладеним бюджетом на кілька регенерацій; це досить дешево, тому три спроби коштують менше, ніж один запуск інших моделей.

Яким би редактором ви не користувалися, перед тим як залишити дубль, обріжте будь-яке обличчя у кадрі у повному розмірі відповідно до джерела. Монтаж, який залишає об'єкт правильним, а людину дещо зміненою, не рятує кадр.

Джерела

• SYNTX.AI Academy: «Вибірковий монтаж відео в Seedance», «Як змінювати окремі елементи у відео» (Beeble SwitchX) та «Простий монтаж відео за допомогою промптів» (Omni Flash)
• Higgsfield: Знайомство з Genjutsu та сторінкою Genjutsu
• Runway Aleph 2.0: можливості та ціни
• Kling O1 Редагування на fal