Новая технология на основе искусственного интеллекта создает невероятные 3D-эффекты. Видео

Если вы еще не видели этих потрясающих 3D-эффектов, то запомните этот момент, ведь скоро они будут на каждом шагу. Технология Neural Radiance Field (NeRF) развивается такими же бешеными темпами, как и остальной мир искусственного интеллекта, с потрясающими результатами.

• Технологии, давайте помедленнее: появились первые видео, созданные ИИ из текстовых описаний

Детали

Внедренная исследователями из Калифорнийского университета в Беркли, Калифорнийского университета в Сан-Диего и Google, технология искусственного интеллекта NeRF впервые появилась на публике в марте 2022 года, когда nVidia представила свою сверхбыструю демонстрацию "Мгновенного NeRF" на конференции разработчиков GTC.

Суть технологии состоит в том, что вы ходите по определенной местности, снимая фотографии или видео с помощью смартфона, а затем загружаете результаты в службу, где нейронная сеть использует разнообразные методы искусственного интеллекта, чтобы получить последовательность изображений реального мира и использовать их для создания 3D-модели вашего окружения.

Затем вы можете взять эту модель и делать с ней любые вещи, в частности снимать разные пролеты камеры или создавать фотореалистичные 3D-среды для использования в видеоиграх, VR-исследованиях или в других целях. Видео ниже отлично иллюстрирует то, что можно создавать благодаря такой технологии. И это сделал один человек, а не огромная команда операторов.

Трудно представить, на что будет способна эта технология в сочетании с искусственным интеллектом, который умеет преобразовывать текст в видео и с помощью генеративных тестовых ИИ, как ChatGPT.

Между тем, проект Google Zip-NeRF находится на стадии исследования, но недавние достижения позволили ему работать примерно в 22 раза быстрее, чем предыдущая модель mip-NeRF, и производить на 8-76% меньше ошибок. Результаты смотрятся совершенно впечатляющими (эта штука, пожалуй, станет must have для риелторов).

Возможности этой технологии ограничиваются не только созданием вау-эффектов в видео. Напротив, в перспективе технология NeRF может быть неотъемлемой частью роботизации и подарит работам "зрение". Например, робот, которому дали задание убрать разлитый суп, может зайти на вашу кухню и использовать эту технологию в сочетании с процедурой генерации подсказок от текстового ШИ типа GPT, чтобы идентифицировать и найти в комнате ряд предметов, относящихся к задаче, от совков и щеток до мусорных баков, раковин, шкафов, ящиков, спреев для чистки, пылесосов и т.д.

Также у этой технологии практически бесконечны возможности использования в видеоиграх. К примеру, команда японских разработчиков работает над рендерингом 3D-сцен, сгенерированных NeRF, в реальном времени в Unreal Engine. Команда говорит, что она достигает более 60 кадров в секунду на графическом процессоре nVidia RTX3070 с минимальным потреблением памяти.

Ранее мы писали о 10 популярных профессиях, которые могут исчезнуть из-за генеративного искусственного интеллекта ChatGPT. По словам экспертов, ИИ может выполнять работу представителей этих профессий гораздо быстрее и эффективнее.