Нова кімната та вбрання для «говорячої голови»: лише Seedance 2.5 зберегли людину

Цей матеріал — найпоширеніший тип контенту для творця: 48-секундне вертикальне селфі, телефон на витягнутій руці, порожня кімната на фоні, лілова футболка, природні жести та мова українською. Мета полягала в тому, щоб помістити ту саму героїню у затишну вітальню в теплий вечір, одягнувши на неї підібраний синій блейзер, не змінюючи те, що робить цей ролик її власним: обличчя, волосся, кожен жест, артикуляцію та голос.

Це відсікає багато варіантів. Глядач дивиться прямо на обличчя, що говорить, тому кількох кадрів із ротом, який не збігається зі словами, або обличчя, що стало занадто гладким чи змінило риси, достатньо, щоб втратити увагу. Наведені нижче кліпи навмисно без звуку: мова російська, а тут важливо лише те, що ви бачите.

Перевірений процес

1. Спочатку оберіть короткий тестовий фрагмент. Ми вирізаємо п'ять секунд (35.4–40.4 с) із файлу з телефону, конвертованого з 4K при 120 fps у 1080×1920 при 30 fps, зі збереженням звуку. Протестуйте п'ять секунд, перш ніж оплачувати сорок вісім.
2. Підготуйте одне референтне нерухоме зображення бажаного вигляду. Один кадр із тією самою людиною, яка вже одягнена в новий одяг і перебуває в новій кімнаті. Одне зображення може містити і гардероб, і локацію, якщо в промпті зазначено, що він не визначає нічого іншого.
3. Запустіть Seedance 2.5 у режимі редагування відео. Вихідний кліп є відеореференсом, стоп-кадр — зображенням-референсом, а промпт написаний як команда для монтажу: що змінюється, що є основним і що не повинно рухатися. Згенерований звук вимкнено.
4. Перевірте тривалість. Наш 5.00-секундний вихідний файл перетворився на 4.71 секунди, а його рух відтворився приблизно на 6% швидше. Після розтягування назад до 5.00 с жести збіглися з оригіналом із похибкою у два кадри.
5. Поверніть оригінальний голос. Власне запис спікера накладається на змінений за часом відеоряд, тому голос ніколи не є реконструкцією.
6. Перевірте обличчя у повному розмірі, потім губи зі звуком. Кадруйте обличчя у форматі 1:1 відносно джерела, перш ніж вважати роботу завершеною. Накладання, субтитри та вставки додаються під час монтажу вже потім, вони ніколи не проходять через модель.

Необхідні вхідні дані

• Вихідний кліп має тривати не менше 4 секунд і не більше 30 секунд за один запуск (довші дублі потрібно розділяти).
• Референтне фото цільового вбрання та приміщення, в ідеалі — з тією самою людиною.
• Оригінальне аудіо, відкладене для подальшого накладання на результат.
• Мова мовлення, щоб рухи губ відповідали правильній фонетиці.
• Простий список того, що має залишитися (обличчя, волосся, руки, таймінг), і того, що має зникнути (стара кімната, старий одяг, будь-що надруковане на стіні).

Шлях 1: зміна стилю реального відео

Цей шлях зберігає записану дію і перемальовує лише те, що має змінитися. Ми протестували це на двох моделях Higgsfield з одним і тим самим п'ятисекундним кліпом та одним і тим самим референсним стоп-кадром.

Джерело

Запис із телефону

Вхідні дані: звичайна кімната, лілоowa футболка, природні жести, рух селфі з рук.

Джерела

Цільова кімната та вбрання

Референс, отриманий для обох дублів: він визначає лише одяг та кімнату, і нічого більше.

Дубль А · обрано

Seedance 2.5 Монтаж відео

Змінено і приміщення, і вбрання; обличчя зберігає свої риси та текстуру шкіри, а моргання, форми рота та жести рук збігаються з джерелом. Ми змінили таймінг результату перед додаванням оригінального голосу.

Переглянути промпт

Дубль B

Higgsfield Genjutsu

Motion transfer точно копіює гру актора та додає блейзер, але стара кімната залишається, а обличчя виходить занадто гладким і менш схожим на оригінал. Genjutsu не потребує промптів.

Seedance 2.5 — це модель, яку слід використовувати, коли реальна людина залишається в кадрі. Це була єдина модель, яка змінила кімнату та одяг, зберігши обличчя, яке можна впізнати на повний зріст. Genjutsu зробила лише половину роботи та розмила обличчя. Ми також збільшили роздільну здатність кліпу Genjutsu з 720p до 1080p за допомогою ByteDance Video Upscale: апскейлер вигадує вії та текстуру, і на обличчі, яке вже почало змінюватися, це зробило результат гіршим, а не кращим. Апскейлінг не виправляє слабку модель.

Режим має таке ж значення, як і модель. Наші перші два дублі Seedance 2.5 використовували режим референсу (omni) із прикріпленим кліпом як відеореференсом. Обидва завершилися невдачею приблизно через 45 секунд, кошти було повернуто без пояснення причин через API. Відповідь знайшлася на вебсторінці Higgsfield: Ваш промпт схожий на запит для монтажу відео. Перейдіть у режим Video Edit, щоб результат відповідав вашому вхідному відео. У режимі Video Edit те саме завдання було виконано з першої спроби. Video Edit тарифікується за довжиною вихідного кліпу: 38 кредитів за п'ять секунд у 720p.

Шлях 2: вирізати людину та зробити композитинг

Дешевший шлях не перемальовує людину. Модель матування визначає, які пікселі належать спікеру; потім оригінальні пікселі накладаються на новий фон за допомогою ffmpeg. Ми порівняли трьох провайдерів на семисекундному уривку одного й того самого запису, де новим фоном слугував вигляд на місто з вікна. Цей уривок містить три невеликі вставлені відеооверлеї, показані так, як вони були у вхідних даних.

Слабке місце кожного вирізання однакове: тонке волосся на фоні світлої стіни. У кожному результаті між пасмами залишається частина старого приміщення, що виглядає як ореол на фоні нового неба. Накладені оверлеї — це друга пастка: модель кеїнгу знає лише людину та все інше, тому не додавайте оверлеї до кліпу, який ви надсилаєте, а додавайте їх знову під час монтажу.

Шлях 3: регенерація спікера з одного фото

Третій шлях видаляє відзнятий матеріал і анімує одне фото з оригінальним голосом. Ми надали двом моделям аватара одне й те саме нерухоме фото спікера на березі марини та перші 5.55 секунд її записаної мови, що закінчується природною паузою.

Вихідне фото

Портрет Марини

Одна фотографія, де анімовані обидві моделі аватара, з використанням власного голосу спікера.

Аватар 1

OmniHuman 1.5

Жива міміка голови та рота, але шкіра розгладжена, і вона виглядає трохи молодшою. $0.89 на fal, 3 хв.

Переглянути промпт

Аватар 2

Kling AI Avatar v2 Pro

Ближче до фото, зі збереженням веснянок та текстури та реалістичним ефектом ручної камери. $0.83 на fal, 7 хв.

Обидва варіанти зберігають справжній голос, оскільки вони лише анімують обличчя під нього. Проте вони не можуть зберегти справжню гру: кожен жест і поворот голови створюються штучно. Це підходить для нового звернення до камери, але це вже інше відео, а не оригінал у новій кімнаті.

Шаблон

Це повний шаблон рестайлінгу в його найбільш загальній формі: він може замінити кімнату, гардероб та зачіску, зберегти обраний реквізит із джерела та перемонтувати один дубль у кілька планів. Заповніть поля у дужках і видаліть те, що не потрібно для вашого завдання. На Higgsfield надішліть його в режимі Seedance 2.5 Video Edit.

• Збереження власного волосся спікера: створення лише @Look гардероба.
• Нічого не залишати зі старої кімнати: видалити рядок з реквізитом.
• Один безперервний дубль, як-от селфі: використовуйте один етап і видаліть рядки про нові ракурси та розміри кадрів.
• Зйомка на телефон: замініть рядок про стиль кінокамери на "фотореалістичне відео з телефону, що відповідає вихідному файлу", інакше результат не стикуватиметься з рештою запису.
• Оригінальний голос: вимкніть згенерований звук і накладіть запис знову після завершення.

[Edit Goal]
Edit @Video 1. For the entire video, replace the room behind the woman and replace her lilac T-shirt with a blazer outfit.

[Source Video Role]
@Video 1 is the sole editing master. It defines the woman: her face, skin, freckles, eye colour, hair, expression, every blink and every mouth shape of her Russian speech, her hand gestures, her position and size in frame, the handheld selfie camera movement, the audio, and the timing of everything.

[Target Material Role]
@Image 1 defines only two things. Her clothing: a tailored dusty-blue blazer with wide peak lapels over a matching V-neck waistcoat with buttons. The room: a cosy warm living room in the evening, a large framed landscape painting in gold, ochre and soft blue on the left, a table lamp with a cream shade glowing on a wooden sideboard, built-in shelves on the right lit by warm strip lights with dark ceramic vases and books. Do not use the woman's face, hairstyle or pose from @Image 1.

[Edit Scope]
Modify only the background outside her silhouette, and her clothing below the neck. Allow the warm lamp light of the new room to fall naturally on her face, hair and blazer. Do not modify her identity, facial features, freckles, eye colour, hairstyle, expression, mouth movement, hands, position, size or motion.

[Timeline Inheritance]
The blazer moves exactly as the T-shirt did, following every shoulder and arm movement, and her hands pass in front of it at the same moments. Keep all her actions, gestures and the camera movement from @Video 1 unchanged, frame by frame. Exactly one person. No on-screen text or logos.

[Content to Preserve]
Keep her face, hair, expression, lip movement, gestures, camera framing and sway, timing and the original audio from @Video 1.

A woman talks directly to the camera in a handheld selfie video on a sunny lakeside marina. Natural, relaxed delivery: small head nods and tilts, lively eyebrows, natural blinks, subtle shoulder movement, slight handheld camera sway as if she holds the phone at arm's length. Her hair moves lightly in the breeze; boats rock gently on the water behind her. Her face, hair and striped shirt stay exactly as in the photo. Realistic skin, natural daylight.

Inputs: the marina photo as the image, the speaker's own recording (0–5.55 s) as the audio. OmniHuman 1.5 at 720p.

@Source is <SOURCE>, the master motion track. This is a restyle of <SOURCE>, not a new performance: <HERO>'s face, body, pose, every movement of head, hands and fingers, every gesture, every object touched, speech timing and mouth shapes are copied from <SOURCE> frame by frame, at exactly the same seconds, same speed, same direction, same hand. Ignore from <SOURCE>: [FILL IN: what to remove from the source video, such as the old room, furniture, clothing, hairstyle].
<SOURCE> also defines <PROPS>, identical in every shot: [FILL IN: objects from the source to keep, each one separately: what it is, colour, material, where it stands. IF THERE IS NOTHING TO KEEP, DELETE THIS WHOLE LINE]. Exactly one of each object.
@Location is <LOCATION>: [FILL IN: the new location: furniture, where the hero is, lamps and windows, walls, decor]. Carry this geometry identically. Ignore its camera angle.
@Look is <LOOK>, wardrobe and hair only: [FILL IN: clothing from top to bottom, accessories, shoes; hairstyle: length, shape, styling]. Not the face. Ignore the background and any text on the reference.

[Blocking]
<HERO> takes the same position as in <SOURCE>, now [FILL IN: where the hero is in the new location, for example sitting in an armchair or standing by the window], with [FILL IN: what is behind the hero] behind. Scale and distances stay as in <SOURCE>.

[Stages]
Stage 1 ([FILL IN: timecode, for example 0–4] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 2 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 3 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.

[Maintain consistency]
Every movement matches <SOURCE> at the same timecode; nothing is added, skipped, slowed or sped up. In new angles, the same movements are seen from the new angle. <HERO> talks exactly as in <SOURCE> in every shot, the mouth never still while <SOURCE> has speech. Exactly one person. The face matches <SOURCE> from every angle, [FILL IN: any change to the face, for example fully clean-shaven, OR DELETE], with visible pores and dry matte skin, never plastic. Wardrobe and hair match <LOOK> in every shot. Every shot differs in size or angle from the one before. Static stages have no pan, no zoom and no drift. No on-screen text, subtitles or logos.

[Lighting]
[FILL IN: time of day, for example Evening, no daylight]. Key: [FILL IN: the main light source: what it is, where it is in frame, its colour]. Fill: [FILL IN: the second light source: what, where, colour]. Light and shadows on <HERO> come from the light sources of <LOCATION>, with soft contact shadows. <HERO> belongs to the room, never pasted over it.

[Style]
Photoreal live action, real cinema camera, shallow focus, natural motion blur, [FILL IN: colour grade, for example a warm cosy grade], fine film grain. No CGI look, no sharpening, no HDR.

[Audio]
Dialogue language: [FILL IN: the spoken language]. The soundtrack is the original audio of <SOURCE>, unchanged: same voice, words, intonation and timing, with mouth shapes matching [FILL IN: the spoken language] phonetics. No music, no added sounds.