Исследование выявило признак, по которому легко распознать ответы ИИ в разговорах
Вот что система не может имитировать, что присуще реальным беседам
Исследование выявило признак, по которому легко распознать ответы ИИ в разговорах/Фото: RichVintage/Getty Images
-
Искусственный интеллект легко отличить от человека в соцсетях, поскольку его ответы отличаются чрезмерно дружелюбным и нетоксичным эмоциональным тоном.
-
Классификаторы распознают ответы девяти протестированных LLM на платформах Twitter/X, Reddit и Bluesky с точностью 70-80%.
-
Попытки оптимизации (увеличение модели или тонкая настройка) не сделали стиль ИИ более "человеческим", поскольку ему не хватает хаотичности и спонтанности.
Исследование, проведённое университетами Цюриха, Амстердама, Дьюка и Нью-Йорка, показало, что искусственный интеллект легко отличим от человека в беседах в соцсетях – и самым надёжным маркером является чрезмерно дружелюбный эмоциональный тон.
Детали
Протестировав девять моделей на платформах Twitter/X, Bluesky и Reddit, учёные обнаружили, что автоматические классификаторы распознают ответы ИИ с точностью 70-80%. Вместо субъективной оценки использовали вычислительный тест Тьюринга и лингвистический анализ, оценивая именно те черты, которые отличают машинный текст.
Команда под руководством Николо Пагана установила: даже после глубокой калибровки результаты LLM остаются отчётливо отличающимися от человеческих – особенно по эмоциональному окрасу. Ответы ИИ заметно менее токсичны и спонтанно-эмоциональны, чем типичные человеческие посты.
Анализ оптимизационных стратегий (от простых подсказок до нюансов тонкой настройки) показал, что даже сложные подходы не делают стиль ИИ более "человеческим". Наоборот – увеличение размера модели не приводит к лучшей имитации человека, а модели, дополнительно обученные следовать инструкциям, демонстрируют даже меньшую схожесть с реальными ответами.
Обнаружено противоречие: если оптимизировать ИИ текст под стилистическое сходство, то снижается схожесть с содержанием реальных человеческих ответов. Если оптимизировать под содержание – текст становится ещё проще идентифицировать как искусственный. Лучшие результаты давали самые простые методы: использование релевантного контекста или примеров прошлых сообщений в соцсетях.
Различие между платформами также было существенным. Особенно легко модели распознавались на Reddit, хуже – на Twitter/X, что объясняется разным стилем общения и объёмом обучающих данных.
Исследователи подытоживают: современным языковым моделям сложно аутентично передать хаотичность, непоследовательность и "негатив" человеческих дискуссий. Несмотря на дальнейшее развитие ИИ, текст остаётся заметно искусственным – эмоциональная достоверность и семантика "конкурируют" как цели, и поэтому даже самые прогрессивные ИИ не могут достоверно имитировать живое человеческое общение онлайн.
Ранее мы писали о том, не стали ли автомобили слишком большими для нашего пространства. Увеличение размеров новых автомобилей вызывает серьёзные вопросы относительно безопасности дорожного движения, удобства использования в городах и влияния на окружающую среду.
Другие важные новости, которые могут быть интересны вам:
Не пропустите интересное!
Подписывайтесь на наши каналы и читайте новости в удобном формате!
