Adobe продемонстрировала Firefly Video Model – ИИ для создания видео по тексту

Компания Adobe анонсировала возможности новой ИИ-модели Firefly Video Model, которая позволит создавать и редактировать видео по текстовым запросам. Бета-версия модели появится в Adobe Premiere Pro до конца 2024 года.

Firefly Video Model может генерировать 2D- и 3D-анимации, стилизовать текст, добавлять элементы на уже отснятые кадры и дорисовывать недостающие сцены. Примеры видео, созданные этой моделью, показывают высокое качество. Еще одно преимущество ИИ-модели – скорость работы: на создание роликов, представленных на презентации, нейросети потребовалось менее двух минут.

Примеры сгенерированных видео. Источник: Adobe (здесь, далее и на обложке)

При работе с ИИ пользователи смогут настраивать углы обзора, движения камеры и соотношения сторон с помощью имитированных элементов управления, также накладывать дополнительные элементы – например, дым или капли воды. Модель также предлагает инструменты для создания b-roll на основе существующих изображений, что помогает восполнить пробелы в видеоматериалах. Это особенно полезно для редакторов, которые работают в условиях сжатых сроков.

Firefly Video Model будет интегрирована в Creative Cloud и другие продукты Adobe. Модель обучалась на лицензированных данных, поэтому весь генерируемый контент можно использовать в коммерческих целях.