Даже в этом мы теперь хуже: ChatGPT лжет лучше чем люди

Ученые провели исследование, в котором группа из 697 человек прочла 220 сообщений в Twitter, написанных другими людьми и моделью искусственного интеллекта GPT-3, предшественницей чрезвычайно популярного ИИ ChatGPT. Ученые обнаружили, что искусственному интеллекту удавалось лучше врать, чем людям, и это очень опасно.

• Искусственный интеллект не сможет получить Грэмми за свою музыку

Детали

Сначала людям, участвовавшим в исследовании, нужно было угадать, какие твиты правдивы, а какие ошибочны, а потом решить, кто их написал: человек или машина. GPT-3 победил по обоим пунктам: он врал лучше людей в твитах с дезинформацией, а также походил больше на человека, чем сами люди.

В своем исследовании, опубликованном в журнале Science Advances, ученые заявили, что искусственный интеллект способен лучше информировать и дезинформировать нас, чем мы сами. Исследователь Цюрихского университета Джованни Спитале отмечает:

Это было очень неожиданно. Наша гипотеза заключалась в том, что если вы прочтете один твит, он может считаться органическим [написанным человеком]. Но если вы увидите многие из них, вы начнете замечать лингвистические особенности, по которым можно заключить, что это может быть синтетическое [машинное сообщение].

Но это было не так: люди-читатели не смогли выявить закономерности в машинных текстах. Еще хуже, постепенное появление новых моделей и других подходов может даже улучшить способность искусственного интеллекта обманывать людей.

Уровень написания ChatGPT-4, улучшенной версии GPT-3, практически идеален. Это новое исследование является еще одним доказательством того, что люди не в состоянии отличить его, даже смотря на многие примеры подряд.

Логическим следствием этого усовершенствования станет увеличение использования этого инструмента для написания любого контента, включая кампании по дезинформации. Это будет очередная проблема для Интернета. Спитале объясняет это так:

Наша теория смирения касается самоуверенности людей в определении синтетического текста. Теория гласит, что критическое влияние синтетического текста уменьшает способность людей отличать синтетическое от органического. Чем больше синтетического текста мы читаем, тем труднее его отличить от текста, написанного людьми. Эта теория противоположна теории прививки.

Если теория смирения верна, пользователи Интернета скоро не смогут отличить то, что написал человек от того, что написала машина. Что поражает еще больше, это то, что искусственный интеллект настолько хорошо притворяется человеком, что не может отличить свои тексты от человеческих.

Единственная надежда избежать кампаний автоматической дезинформации состоит в том, что GPT-3 иногда не подчинялся приказам создавать ложь. Это зависело от того, как была обучена любая модель. Темы 220 твитов, использованных в исследовании, были достаточно противоречивыми: изменение климата, вакцины, теория эволюции, Covid-19. Исследователи обнаружили, что GPT-3 плохо реагировал на их запросы по дезинформации в некоторых случаях, особенно касательно тем, где было больше доказательств: вакцины и аутизм, гомеопатия и рак и теория плоской земли.

Когда дошло до обнаружения лжи, была небольшая разница между твитами, написанными GPT-3 и твитами, написанными людьми. Но исследователи говорят, что эта разница важна по нескольким причинам. Во-первых, даже несколько отдельных сообщений могут повлиять на большие выборки. Во-вторых, усовершенствование новых версий этих моделей искусственного интеллекта может усилить отличия.

Исследование имеет и другие ограничения, которые могут изменить восприятие во время чтения фейковых твитов. Большинство участников были старше 42 лет, исследование проводилось только на английском языке и оно не учитывало контекстную информацию о твитах, таких как профиль и предыдущие твиты. Спитале отмечает:

Мы набирали участников в Facebook, потому что нам потребовалась выборка реальных пользователей соцсети. Было бы интересно воспроизвести исследования, набрав участников через TikTok и сравнить результаты.

Но вне этих ограничений возникает возможность создания кампании по дезинформации, которые раньше стоили очень дорого, но теперь внезапно стали доступными. Спитале объясняет:

Представьте, что вы мощный президент, заинтересованный в парализовании здравоохранения другого государства. Или вы хотите посеять раздор перед выборами. Вместо того чтобы нанимать ферму троллей, вы можете использовать генеративный ИИ. Ваша огневая мощь увеличивается по крайней мере на 1000. И это непосредственный риск, а не что-нибудь из антиутопического будущего.

Чтобы этого не произошло, исследователи рекомендуют, чтобы базы данных для обучения этих моделей "регулировались принципами точности и прозрачности, их информация должна быть проверена, а их происхождение должно быть открыто для независимого изучения". Спитале подытоживает:

Будет ли взрыв синтетического текста также означать взрыв дезинформации, сильно зависит от того, как демократическим обществам удастся регулировать эту технологию и ее использование.

Ранее мы сообщали, что искусственный интеллект ChatGPT показал лучшие результаты в медицинском опросе, чем настоящий врач. Возможно, называть некоторых врачей бездушными роботами теперь не слишком корректно по отношению к роботам.