Искусственный интеллект смог воссоздать изображения, которые видели люди, из сканирований их мозга

Хотя это звучит как нечто из научно-фантастического фильма, исследователи успешно научили систему искусственного интеллекта воспроизводить изображения, на которые смотрели люди, на основе сканирований их мозга. ИИ генерировала изображения объектов, включая плюшевого мишку, часовую башню и самолет, после того, как участники исследования просмотрели похожие изображения.

• Ядерное оружие хотят передать под контроль искусственного интеллекта: США против

Детали

Хотя эта технология искусственного интеллекта преобразований сканирования мозга в изображение еще далека от готовности к публичному использованию, исследователи заявляют, что когда-то она может оказаться полезной для понимания того, что происходит в головах людей. Когда ученые немного усовершенствуют эту концепцию, врачи впоследствии смогут использовать ее, чтобы помочь людям, например, больным параличом, общаться. Это также поможет нейробиологам интерпретировать сны или даже понять, как другие виды воспринимают окружающий мир.

Исследователи из Университета Осаки в Японии входят в число ученых, использующих искусственный интеллект, чтобы понять сканирования человеческого мозга. Однако их подход к этому первый, в котором используется генератор текста в изображение Stable Diffusion, появившийся на сцене ИИ в августе 2022 года.

Команда поделилась исследованием в не рецензированной статье, опубликованной на сервисе препринтов bioRxiv. Ученые планируют представить свои выводы на предстоящей конференции по компьютерному видению.

Как это работает? Как правило, пользователь вводит слово или фразу, которые Stable Diffusion или другие подобные технологии, такие как DALL-E 2 и Midjourney, превращают в изображение. Этот процесс работает, поскольку алгоритмы изучили многие существующие изображения и сопровождающие их текстовые подписи — со временем это обучение позволяет технологии идентифицировать шаблоны, которые она может затем воспроизвести на основе подсказок.

Исследователи пошли дальше в этом обучении, научив модель ИИ находить связи данных функциональной магнитно-резонансной томографии (фМРТ) с изображениями. Более конкретно, исследователи использовали фМРТ сканирование четырех участников, просмотревших 10 000 различных изображений людей, пейзажей и объектов в рамках предварительного, несвязанного исследования. Они также подготовили вторую модель ИИ для изучения связи активности мозга в данных фМРТ с текстовыми описаниями изображений, которые смотрели участники исследования.

Фото: Takagi and Nishimoto / bioRxiv, 2022

Вместе эти две модели позволили Stable Diffusion превратить данные фМРТ в относительно точные имитации изображений, которые не являлись частью учебного набора ИИ. Основываясь на сканировании мозга, первая модель могла воспроизвести перспективу и макет, которые видел участник, но сгенерированные изображения были облачными и неспецифическими фигурами. Но затем заработала вторая модель, которая смогла распознать, на какой объект смотрят люди, используя текстовые описания учебных изображений.

Итак, если бы ИИ получил сканирование мозга, похожее на сканирование во время учебы, обозначенное как человек, который смотрит на самолет, он добавил бы самолет к сгенерированному изображению, придерживаясь перспективы первой модели. Технология достигла примерно 80% точности.

Воспроизведенные изображения выглядят очень похожими на подлинники, хотя и с некоторыми заметными отличиями. Созданная искусственным интеллектом версия локомотива, например, окутана мутным серым туманом, а не показывает веселое, ярко-голубое небо реального изображения. И изображение башни с часами, сделанное искусственным интеллектом, больше похоже на отвлеченное произведение искусства, чем на реальную фотографию.

Технология многообещающая, но все еще имеет некоторые ограничения. ИИ может только воспроизводить изображения объектов, включенных в его учебный материал. И поскольку алгоритм обработал мозговую активность только четырех человек, чтобы расширить его возможности, нужно включить других участников, а это потребовало бы обучения модели на сканах мозга каждого нового индивида — дорогостоящий и трудоемкий процесс. Таким образом, технология вряд ли станет широко доступна общественности, по крайней мере в ее нынешнем виде.

Ранее мы сообщали, что южнокорейская компания DeepBrain создала программу, позволяющую общаться с умершими людьми. Искусственный интеллект формирует образ человека и может общаться от его имени.