Ostris представила новую страницу генерации контента в интерфейсе AI-Toolkit, объединяющую рабочие процессы обучения и инференса в одном месте. Обновление позволяет пользователям тренировать loras и генерировать медиа без переноса контрольных точек в внешние инструменты.

Поддерживаемые модели и типы медиа

Движок инференса поддерживает многие из тех же открытых моделей, которые используются для обучения, охватывая семейства генерации изображений, видео и музыки. Доступные визуальные модели включают варианты, такие как Krea 2, Flux версии, Qwen Image 2.1, Qwen Image 2512, SDXL и Z-Image Turbo.

• Видео-модели в интерфейсе включают MiniMax H3, LTXV 2.3 и последующие ревизии, а также Wan 2.2.
• Музыкальные модели, перечисленные для генерации, включают Ace-Step 1.5XL, MiniMax Music 3 (в тестировании) и Ye2.

Квантизация и слияние моделей

Инструмент предоставляет несколько опций квантизации для компонентов трансформера и текстового энкодера, включая bf16, смешанные целочисленные и плавающие форматы, такие как fp8, а также другие форматы поставщиков. Он также поддерживает объединение обученного lora с базовой моделью для упрощения развертывания и рабочих процессов инференса.

Производительность и текущие ограничения

В настоящее время набор функций находится на альфа-стадии с минимальной настройкой и известными ограничениями по скорости по сравнению с существующими инструментами, такими как Comfy. Например, запуск fp8 Krea 2 в AI-Toolkit генерирует изображения 1024x1024 за 9 шагов, занимая около 13 сек на графическом процессоре 4090.

Для сравнения, та же задача в Comfy с использованием bf16 завершается за 8 шагов и примерно 5 сек, в то время как рендеры 2048x2048 могут превышать одну минуту или не завершаться. Разработчики отмечают продолжающуюся работу по улучшению стабильности и производительности во время выполнения.

Развертывание и инструменты

AI-Toolkit можно удобно установить и обновлять через установщики сообщества и вспомогательные скрипты, упрощая локальную настройку для экспериментов. Команда позиционирует интерфейс как дополнение к более зрелым экосистемам, признавая, что более широкая гибкость и интеграции Comfy остаются непревзойденными.