Новая система искусственного интеллекта научилась читать мысли без имплантов

Исследователи из Техасского университета в Остине создали систему искусственного интеллекта для чтения мыслей, которая может принимать изображения активности мозга человека и переводить их в непрерывный поток текста. Система под названием семантический декодер может помочь людям, которые находятся в сознании, но не могут говорить, например тем, кто перенес инсульт.

• Искусственный интеллект ChatGPT более чуткий и дает лучшие советы, чем врачи

Детали

Этот новый интерфейс "мозг-компьютер" отличается от других технологий "чтения мыслей", поскольку его не нужно имплантировать в мозг. Исследователи сделали неинвазивные записи мозга с помощью функциональной магнитно-резонансной томографии (фМРТ), чтобы реконструировать воспринятые или мнимые стимулы с помощью непрерывного естественного языка.

В то время как фМРТ создает изображение превосходного качества, сигнал, который он измеряет и зависит от уровня кислорода в крови, является очень медленным, поскольку импульс нейронной активности вызывает повышение и снижение уровня кислорода в крови в течение примерно 10 секунд. Поскольку в естественном английском языке используется более двух слов в секунду, на каждое изображение мозга может приходиться более 20 слов.

Здесь на сцену выходит семантический декодер. Он использует модель кодирования, подобную той, которую используют генеративные языковые ИИ ChatGPT от Open AI и Bard от Google, которая может предположить, как мозг человека реагирует на естественный язык. Чтобы "научить" декодер, исследователи записали реакции мозга трех человек, когда они прослушивали 16 часов разговорных историй. Декодер мог со значимой точностью предсказать, как мозг человека отреагирует на услышанную последовательность слов. Один из авторов исследования Александр Хут отметил:

Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше и заключалось в составлении отдельных слов и кратких предложений.

ИИ не воспроизводит мысль слово в слово. Декодер же улавливает суть "сказанного". Это неидеально, но примерно в половине случаев он производил текст, который примерно (иногда точно) совпадал с оригиналом.

Кроме того, что участники слушали и думали над историями, их попросили просмотреть четыре коротких беззвучных видеоролика, пока их мозг сканировали с помощью фМРТ. Семантический декодер переводил их мозговую активность в точные описания определенных событий из просматриваемых ими видео.

Видео ниже показывает, как семантический декодер использует записи активности мозга, чтобы уловить суть сцены немого кино.

Исследователи обнаружили, что желания участников были ключевыми в этом процессе. Те, кто сопротивлялся во время обучения кодера, например, намеренно думал о чем-то другом, привели к непригодным результатам. Подобным образом, когда исследователи тестировали ИИ на не обучавших декодер людях, результаты были непонятны.

В настоящее время декодер нельзя использовать вне лабораторной среды из-за его зависимости от фМРТ. Есть надежда, что эта технология может быть адаптирована для использования с более портативными системами визуализации мозга, такими как функциональная ближняя инфракрасная спектроскопия (fNIRS).

Ранее искусственный интеллект показал, как выглядели бы "Звездные войны", если бы их снимал Вес Андерсон. Ролик под названием "Галактический зверинец" имеет много фирменных черт, которыми известен режиссер.