Разработчик протестировал библиотеку визуальных приёмов Eyecandy для адаптации стилистических эффектов в генеративном ИИ‑арте и видеопайплайнах в производственной среде.

Выбранные эффекты

Автор выделил 3 эффекта из библиотеки, подходящие для интеграции в image2video и рабочие процессы со смешанными сценами.

• Щелевой скан — техника временного среза, используемая для создания искажённых артефактов движения между кадрами и при длительных выдержках в видеопоследовательностях.
• Морфинг — превращение одного объекта в другой, применимо к лицам, реквизиту, эскизам и контролируемой замене объектов в сценах.
• Длинная выдержка — размазывание и смешивание движущихся элементов для передачи непрерывного движения при минимальных требованиях к набору данных и выраженном стилистическом эффекте.

Технические соображения

Для эффекта Щелевого скана разработчик планирует воспроизвести технику в Blender и AE, чтобы сравнить алгоритмические результаты и результаты, полученные с помощью моделей.

Сценарий использования Морфинга предполагает чёткое начальное и конечное изображение, но цель — преобразовать один объект внутри в остальном статичной сцены, не меняя фоновые элементы.

Подход Длинной выдержки ставит стиль выше объёмных наборов данных, поэтому эксперименты будут сосредоточены на формулировке подсказок и кондиционировании, управляемом движением, для видеомоделей.

Рабочий процесс и дальнейшие шаги

В планируемые эксперименты входят интеграция в пайплайн, контролируемые наборы данных и качественные сравнения между ручным композитингом и вариантами, сгенерированными моделями, для каждого эффекта.

Автор намерен отчитаться с визуальными результатами и техническими заметками в пятницу после выполнения первоначального набора тестов и сравнений.