Новая комната и наряд для говорящей головы: только Seedance 2.5 сохранили человека

Этот материал — самый распространенный тип контента у создателей: 48-секундное вертикальное селфи, телефон на вытянутой руке, простая комната на фоне, сиреневая футболка, естественные жесты и речь на русском языке. Цель состояла в том, чтобы поместить того же спикера в уютную гостиную в теплый вечер, одев его в приталенный синий блейзер, не меняя того, что делает этот клип уникальным: лицо, волосы, каждый жест, артикуляцию и голос.

Это исключает многие варианты. Зритель смотрит прямо на говорящее лицо, поэтому даже нескольких кадров с несовпадающей мимикой или слегка измененными чертами лица достаточно, чтобы он потерял интерес. Приведенные ниже клипы намеренно без звука: речь на русском языке, а здесь важно то, что вы видите.

Удачный процесс

1. Сначала выберите короткий тестовый фрагмент. Мы отрежем пять секунд (35.4–40.4 с) из файла с телефона, конвертируем из 4K при 120 fps в 1080×1920 при 30 fps с сохранением звука. Протестируйте пять секунд, прежде чем оплачивать сорок восемь.
2. Подготовьте один референсный стоп-кадр желаемого образа. Один кадр с тем же человеком, но уже в новом наряде и в новом помещении. Одно изображение может передать и гардероб, и локацию, если в промпте указано, что он не определяет ничего иного.
3. Запустите Seedance 2.5 в режиме редактирования видео. Исходный клип служит видеореференсом, стоп-кадр — изображением-референсом, а промпт написан как команда для монтажа: что меняется, что остается основой, а что должно оставаться неподвижным. Генерация звука отключена.
4. Проверьте длительность. Наш исходник длиной 5.00 секунд превратился в 4.71 секунд, при этом движение воспроизводилось примерно на 6% быстрее. После растягивания обратно до 5.00 с жесты совпали с исходником с точностью до двух кадров.
5. Верните оригинальный голос. Собственная запись спикера накладывается на видео с измененным таймингом, поэтому голос никогда не является реконструкцией.
6. Сначала проверьте лицо в полном размере, затем губы со звуком. Кадрируйте лицо в соотношении 1:1 относительно оригинала, прежде чем считать работу завершенной. Наложения, титры и вставки добавляются на этапе монтажа, они никогда не пропускаются через модель.

Необходимые входные данные

• Исходный клип должен быть не менее 4 секунд и не более 30 секунд за один проход (длинные дубли нужно разбивать).
• Референсный стоп-кадр целевого наряда и комнаты, в идеале с тем же человеком.
• Оригинальный звук, отложенный для последующего наложения на результат.
• Разговорный язык, чтобы артикуляция губ соответствовала правильной фонетике.
• Простой список того, что должно сохраниться (лицо, волосы, руки, тайминг), и того, что должно исчезнуть (старая комната, старая одежда, любые надписи на стене).

Путь 1: рестайлинг реальных съемок

Этот путь сохраняет записанную игру и перерисовывает только то, что должно измениться. Мы протестировали это на двух моделях Higgsfield с одним и тем же пятисекундным клипом и одним и тем же референсным стоп-кадром.

Источник

Запись на телефон

Вводные данные: пустая комната, сиреневая футболка, естественные жесты, эффект селфи с рук.

Источник

Локация и образ

Референс, полученный в обоих дублях: он определяет одежду и комнату, и ничего больше.

Дубль А · выбрано

Seedance 2.5 Видеомонтаж

И комната, и наряд изменились; при этом черты лица и текстура кожи сохраняются, а моргание, мимика и жесты рук совпадают с исходником. Мы скорректировали тайминг результата перед добавлением оригинальной озвучки.

Посмотреть промпт

Дубль B

Higgsfield Genjutsu

Motion transfer точно копирует движения и добавляет блейзер, но старая комната остается прежней, а лицо получается более гладким и менее похожим на оригинал. Genjutsu не требует промпта.

Seedance 2.5 — это модель, которую следует использовать, если реальный человек остается в кадре. Она была единственной, которая смогла изменить комнату и одежду, сохранив при этом лицо, которое можно узнать на полноразмерном плане. Genjutsu справилась лишь наполовину, размыв черты лица. Мы также увеличили разрешение клипа Genjutsu с 720p до 1080p с помощью ByteDance Video Upscale: апскейлер дорисовывает ресницы и текстуру, и на лице, которое уже начало терять сходство, это только ухудшило результат. Апскейлинг не исправит слабую модель.

Режим работы важен так же, как и сама модель. Наши первые два дубля Seedance 2.5 использовали режим референса (omni) с прикрепленным клипом в качестве видеореференса. Оба завершились неудачей примерно через 45 секунд, средства были возвращены без объяснения причин через API. Ответ нашелся на веб-странице Higgsfield: Ваш промпт похож на запрос для видеомонтажа. Переключитесь в режим Video Edit, чтобы результат соответствовал вашему исходному видео. В режиме Video Edit та же задача была выполнена с первой попытки. В Video Edit оплата идет за длину исходного клипа: 38 кредитов за пять секунд в 720p.

Путь 2: отделение человека и композитинг

Более дешевый способ не перерисовывает человека. Модель маттинга определяет, какие пиксели принадлежат спикеру; затем оригинальные пиксели накладываются на новый фон с помощью ffmpeg. Мы сравнили трех провайдеров на семисекундном фрагменте одной и той же записи, где новым фоном стал вид на город из окна. Этот фрагмент содержит три небольших вставленных видео-оверлея, показанных в том виде, в котором они были во входных данных.

Слабое место любого вырезания одно и то же: тонкие волосы на фоне светлой стены. В каждом результате между прядями остается часть старой комнаты, что выглядит как ореол на фоне нового неба. Вставленные оверлеи — вторая ловушка: модель кеинга знает только человека и всё остальное, поэтому не включайте оверлеи в отправляемый клип, а добавляйте их позже при монтаже.

Путь 3: регенерация спикера по одной фотографии

Третий вариант отбрасывает отснятый материал и анимирует одну фотографию с оригинальной озвучкой. Мы дали двум моделям аватаров одно и то же статичное фото спикера на пристани у озера и первые 5.55 секунд её записанной речи, заканчивающейся естественной паузой.

Исходное фото

Портрет Марины

Анимация обеих моделей аватаров по одной фотографии с использованием собственного голоса спикера.

Аватар 1

OmniHuman 1.5

Живая мимика и движения головы, но кожа слишком сглажена, и она выглядит чуть моложе. $0.89 на fal, 3 мин.

Посмотреть промпт

Аватар 2

Kling AI Avatar v2 Pro

Ближе к фото, с сохранением веснушек и текстуры, и реалистичной тряской камеры. $0.83 на fal, 7 минут.

В обоих случаях сохраняется реальный голос, так как анимируется только лицо под него. Но невозможно сохранить реальную игру: каждый жест и поворот головы выдуманы. Это подходит для нового обращения в камеру, но это уже другое видео, а не оригинал в новой локации.

Шаблон

Это полный шаблон рестайлинга в его наиболее общем виде: он может заменить комнату, гардероб и прическу, сохранить выбранный реквизит из исходника и перемонтировать один дубль в несколько планов. Заполните данные в скобках и удалите то, что не требуется для вашей задачи. В Higgsfield отправляйте запрос в режиме Seedance 2.5 Video Edit.

• Сохранение собственных волос спикера: создание только @Look гардероба.
• От старой комнаты ничего не оставляем: удалите строку с реквизитом.
• Один непрерывный дубль, например, селфи: используйте один этап и удалите строки о новых ракурсах и размерах кадра.
• Телефонная съемка: замените строку о стиле кинокамеры на «фотореалистичное видео с телефона, соответствующее исходнику», иначе результат не стыкуется с остальной записью.
• Оригинальный голос: отключите сгенерированный звук и наложите запись заново после обработки.

[Edit Goal]
Edit @Video 1. For the entire video, replace the room behind the woman and replace her lilac T-shirt with a blazer outfit.

[Source Video Role]
@Video 1 is the sole editing master. It defines the woman: her face, skin, freckles, eye colour, hair, expression, every blink and every mouth shape of her Russian speech, her hand gestures, her position and size in frame, the handheld selfie camera movement, the audio, and the timing of everything.

[Target Material Role]
@Image 1 defines only two things. Her clothing: a tailored dusty-blue blazer with wide peak lapels over a matching V-neck waistcoat with buttons. The room: a cosy warm living room in the evening, a large framed landscape painting in gold, ochre and soft blue on the left, a table lamp with a cream shade glowing on a wooden sideboard, built-in shelves on the right lit by warm strip lights with dark ceramic vases and books. Do not use the woman's face, hairstyle or pose from @Image 1.

[Edit Scope]
Modify only the background outside her silhouette, and her clothing below the neck. Allow the warm lamp light of the new room to fall naturally on her face, hair and blazer. Do not modify her identity, facial features, freckles, eye colour, hairstyle, expression, mouth movement, hands, position, size or motion.

[Timeline Inheritance]
The blazer moves exactly as the T-shirt did, following every shoulder and arm movement, and her hands pass in front of it at the same moments. Keep all her actions, gestures and the camera movement from @Video 1 unchanged, frame by frame. Exactly one person. No on-screen text or logos.

[Content to Preserve]
Keep her face, hair, expression, lip movement, gestures, camera framing and sway, timing and the original audio from @Video 1.

A woman talks directly to the camera in a handheld selfie video on a sunny lakeside marina. Natural, relaxed delivery: small head nods and tilts, lively eyebrows, natural blinks, subtle shoulder movement, slight handheld camera sway as if she holds the phone at arm's length. Her hair moves lightly in the breeze; boats rock gently on the water behind her. Her face, hair and striped shirt stay exactly as in the photo. Realistic skin, natural daylight.

Inputs: the marina photo as the image, the speaker's own recording (0–5.55 s) as the audio. OmniHuman 1.5 at 720p.

@Source is <SOURCE>, the master motion track. This is a restyle of <SOURCE>, not a new performance: <HERO>'s face, body, pose, every movement of head, hands and fingers, every gesture, every object touched, speech timing and mouth shapes are copied from <SOURCE> frame by frame, at exactly the same seconds, same speed, same direction, same hand. Ignore from <SOURCE>: [FILL IN: what to remove from the source video, such as the old room, furniture, clothing, hairstyle].
<SOURCE> also defines <PROPS>, identical in every shot: [FILL IN: objects from the source to keep, each one separately: what it is, colour, material, where it stands. IF THERE IS NOTHING TO KEEP, DELETE THIS WHOLE LINE]. Exactly one of each object.
@Location is <LOCATION>: [FILL IN: the new location: furniture, where the hero is, lamps and windows, walls, decor]. Carry this geometry identically. Ignore its camera angle.
@Look is <LOOK>, wardrobe and hair only: [FILL IN: clothing from top to bottom, accessories, shoes; hairstyle: length, shape, styling]. Not the face. Ignore the background and any text on the reference.

[Blocking]
<HERO> takes the same position as in <SOURCE>, now [FILL IN: where the hero is in the new location, for example sitting in an armchair or standing by the window], with [FILL IN: what is behind the hero] behind. Scale and distances stay as in <SOURCE>.

[Stages]
Stage 1 ([FILL IN: timecode, for example 0–4] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 2 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.
Stage 3 ([FILL IN: timecode] s) | Camera: [FILL IN: shot size, angle, static or moving camera]. <HERO> [FILL IN: what the hero does] exactly as in <SOURCE>, talking with every word.

[Maintain consistency]
Every movement matches <SOURCE> at the same timecode; nothing is added, skipped, slowed or sped up. In new angles, the same movements are seen from the new angle. <HERO> talks exactly as in <SOURCE> in every shot, the mouth never still while <SOURCE> has speech. Exactly one person. The face matches <SOURCE> from every angle, [FILL IN: any change to the face, for example fully clean-shaven, OR DELETE], with visible pores and dry matte skin, never plastic. Wardrobe and hair match <LOOK> in every shot. Every shot differs in size or angle from the one before. Static stages have no pan, no zoom and no drift. No on-screen text, subtitles or logos.

[Lighting]
[FILL IN: time of day, for example Evening, no daylight]. Key: [FILL IN: the main light source: what it is, where it is in frame, its colour]. Fill: [FILL IN: the second light source: what, where, colour]. Light and shadows on <HERO> come from the light sources of <LOCATION>, with soft contact shadows. <HERO> belongs to the room, never pasted over it.

[Style]
Photoreal live action, real cinema camera, shallow focus, natural motion blur, [FILL IN: colour grade, for example a warm cosy grade], fine film grain. No CGI look, no sharpening, no HDR.

[Audio]
Dialogue language: [FILL IN: the spoken language]. The soundtrack is the original audio of <SOURCE>, unchanged: same voice, words, intonation and timing, with mouth shapes matching [FILL IN: the spoken language] phonetics. No music, no added sounds.