ИИ достиг человеческого уровня в тесте на "общий интеллект": вот что это значит

Новая модель искусственного интеллекта достигла результатов человеческого уровня в тесте, предназначенном для измерения "общего интеллекта". 20 декабря система OpenAI o3 набрала 85% в тесте ARC-AGI, что значительно превышает предыдущий лучший результат искусственного интеллекта (55%) и соответствует среднему показателю человека. Он также получил хорошие оценки в очень тяжелом тесте по математике. Аспирант Школы вычислительной техники Австралийского национального университета Майкл Тимоти Беннетт и научный сотрудник Стэнфордского университета Элайджа Перье объясняют, что это значит для технологий и людей.

• Украина собирает большое количество данных с БПЛА для обучения ИИ

Детали

По словам исследователей, чтобы понять, что означает результат o3, нужно понять, что такое тест ARC-AGI. С технической точки зрения, это проверка "эффективности выборки" системы искусственного интеллекта в адаптации к чему-то новому – сколько примеров новой ситуации система должна увидеть, чтобы понять, как это работает.

Такая система ИИ, как ChatGPT (GPT-4), не очень эффективна. Его "обучали" на миллионах примеров человеческого текста, строя вероятностные "правила" о том, какие комбинации слов наиболее вероятны. Результат достаточно хорош в обычных задачах. Он плохо справляется с необычными задачами, поскольку имеет меньше данных (меньше образцов) таких задач.

Пока системы искусственного интеллекта не смогут учиться на небольшом количестве примеров и адаптироваться с большей эффективностью выборки, они будут использоваться только для очень повторяющихся задач и тех, где допустимы случайные сбои.

Способность точно разрешать ранее неизвестные или новые проблемы на основе ограниченных выборок данных известна как способность к обобщению. Ее широко считают необходимым даже фундаментальным элементом интеллекта.

Сравнительный тест ARC-AGI проверяет эффективную адаптацию образца с помощью маленьких квадратных задач, подобных приведенной ниже. ИИ должен выяснить шаблон, который превращает сетку слева в сетку справа.

Каждый вопрос содержит три примера обучения. Тогда системе ИИ нужно выяснить правила, которые обобщают три примера к четвертому.

Точно неизвестно, как OpenAI добилась этого, но результаты показывают, что модель o3 очень адаптивна. Из нескольких примеров она находит правила, которые можно обобщить.

Французский исследователь искусственного интеллекта Франсуа Шолле, разработавший тест, считает, что o3 ищет разные "цепочки мыслей", описывающие шаги для решения задачи. Затем он выбирает "лучший" в соответствии с каким-то свободно определенным правилом или "эвристикой".

Беннетт и Перье задаются вопросом, насколько эти результаты приближают ИИ OpenAI к AGI, всеобщему искусственному интеллекту – главной цели всех разработчиков ИИ. Если Шолле прав, то новая модель ИИ может быть не намного лучше предыдущей. Но почти все о o3 остается неизвестным. OpenAI ограничила раскрытие информации несколькими презентациями и ранним тестированием для нескольких исследователей, лабораторий и учреждений безопасности ИИ.

Подлинное понимание потенциала o3 потребует большой работы, включая оценки, понимание распределения его возможностей, частоты неудач и успеха.

Когда o3 наконец-то будет выпущено, мы будем иметь гораздо лучшее представление о том, приблизительно ли он столь же адаптивен, как среднестатистический человек. Если да, это может оказать огромное, революционное, экономическое влияние, начав новую эру самосовершенствования ускоренного интеллекта. Нам понадобятся новые тесты для самого AGI и серьезное рассмотрение того, как им следует управлять.

Если нет, то это все равно будет поразительный результат. Однако повседневная жизнь останется почти такой же.

Ранее мы писали, что Google представила новую модель ИИ, которая значительно быстрее и точнее прогнозирует погоду, чем современные системы.