Штучний інтелект зміг відтворити зображення, які бачили люди, зі сканувань їхнього мозку

Хоча це звучить як щось із науково-фантастичного фільму, дослідники успішно навчили систему штучного інтелекту відтворювати зображення, на які люди дивилися, на основі сканувань їх мозку. ШІ генерував зображення об’єктів, включаючи плюшевого ведмедика, годинникову вежу та літак, після того, як учасники дослідження переглянули схожі зображення.

• Ядерну зброю хочуть передати під контроль штучного інтелекту: США проти

Деталі

Хоча ця технологія штучного інтелекту з перетворення сканування мозку в зображення ще далека від готовності до публічного використання, дослідники заявляють, що колись вона може виявитися корисною для розуміння того, що відбувається в головах людей. Коли вчені трохи вдосконалять цю концепцію, лікарі згодом зможуть використовувати її, щоб допомогти людям, наприклад, хворим на параліч, спілкуватися. Це також може допомогти нейробіологам інтерпретувати сни або навіть зрозуміти, як інші види сприймають навколишній світ.

Дослідники з Університету Осаки в Японії входять до числа вчених, які використовують штучний інтелект, щоб зрозуміти сканування людського мозку. Однак їхній підхід до цього є першим, у якому використовується генератор тексту в зображення Stable Diffusion, який з’явився на сцені ШІ в серпні 2022 року. 

Команда поділилася дослідженням у статті, яка не була рецензована та опублікована на сервісі препринтів bioRxiv. Вчені планують представити свої висновки на майбутній конференції з комп’ютерного бачення.

Як це працює? Як правило, користувач вводить слово чи фразу, які Stable Diffusion або інші подібні технології, такі як DALL-E 2 і Midjourney, перетворюють на зображення. Цей процес працює, оскільки алгоритми вивчили багато існуючих зображень і супроводжуючих їх текстових підписів — з часом це навчання дозволяє технології ідентифікувати шаблони, які вона може потім відтворити на основі підказок.

Дослідники пішли далі в цьому навчанні, навчивши модель ШІ знаходити зв’язки даних функціональної магнітно-резонансної томографії (фМРТ) із зображеннями. Більш конкретно, дослідники використовували фМРТ сканування чотирьох учасників, які переглянули 10 000 різних зображень людей, пейзажів і об’єктів у рамках попереднього, непов’язаного дослідження. Вони також підготували другу модель ШІ для вивчення зв’язку активності мозку в даних фМРТ із текстовими описами зображень, які дивилися учасники дослідження.

Фото: Takagi and Nishimoto / bioRxiv, 2022

Разом ці дві моделі дозволили Stable Diffusion перетворити дані фМРТ у відносно точні імітації зображень, які не були частиною навчального набору ШІ. Ґрунтуючись на скануванні мозку, перша модель могла відтворити перспективу та макет, які бачив учасник, але згенеровані зображення були хмарними та неспецифічними фігурами. Але потім запрацювала друга модель, яка змогла розпізнати, на який об’єкт дивляться люди, використовуючи текстові описи з навчальних зображень. 

Отже, якби ШІ отримав сканування мозку, схоже на сканування під час навчання, позначене як людина, яка дивиться на літак, він додав би літак до згенерованого зображення, дотримуючись перспективи з першої моделі. Технологія досягла приблизно 80% точності.

Відтворені зображення виглядають дуже схожими на оригінали, хоча й з деякими помітними відмінностями. Створена штучним інтелектом версія локомотива, наприклад, оповита каламутним сірим туманом, а не показує веселе, яскраво-блакитне небо реального зображення. І зображення вежі з годинником, зроблене штучним інтелектом, більше схоже на абстрактний витвір мистецтва, ніж на реальну фотографію.

Технологія багатообіцяюча, але все ще має деякі обмеження. ШІ може лише відтворювати зображення об’єктів, включених до його навчального матеріалу. І, оскільки алгоритм обробив мозкову активність лише чотирьох людей, щоб розширити його можливості, потрібно включити інших учасників, а це вимагало б навчання моделі на сканах мозку кожного нового індивіда — дорогий і трудомісткий процес. Таким чином, технологія навряд чи стане широко доступною для громадськості, принаймні в її нинішньому вигляді.

Раніше ми повідомляли, що південнокорейська компанія DeepBrain створила програму, яка дозволяє спілкуватися з людьми, що померли. Штучний інтелект формує образ людини й може спілкуватися від її імені.