Нейросеть научили создавать видеоролики по текстовому описанию

Корпорация Meta (в прошлом — Facebook) представила новую нейросеть Make-A-Video. Искусственный интеллект умеет генерировать видеоролики по текстовому описанию.

Детали

Разработчики из команды Марка Цукерберга Meta AI продвинулись в исследовании искусственного интеллекта и использовали свои наработки для создания нового сервиса. Корпорация создала нейросеть, используя общедоступные наборы данных. Речь идет о миллионах видеороликах общей длительностью сотни тысяч часов, которые можно найти в Сети.

• Искусственный интеллект научился отличать подлинные картины художников от фальшивых

В компании рассказали:

С помощью всего нескольких слов или строк текста Make-A-Video может воплотить в жизнь воображение и создать уникальные видеоролики, полные ярких цветов, персонажей и пейзажей. Система также может создавать видео из изображений или брать существующие видео и создавать новые, похожие на них

Чтобы нейросеть сгенерировала ролик пользователю достаточно описать сцену несколькими предложениями. Видео пока получаются нереалистичными, с размытыми краями и "рваной" анимацией, однако это значительный прорыв в мире современных ИИ-технологий.

В настоящее время модель создает видео из 16 кадров с разрешением 64 на 64 пикселя, которые затем увеличиваются в размере с помощью отдельного алгоритма до 768 на 768 пикселей.

Компания Nvidia создала нейросеть GauGAN2, которая умеет создавать изображения по текстовому описанию. Алгоритм может создать изображение даже из одного слова.