Дослідження виявило ознаку, за якою легко розпізнати відповіді ШІ у розмовах
Ось що система не може імітувати, що властиво реальним розмовам
Дослідження виявило ознаку, за якою легко розпізнати відповіді ШІ у розмовах/Фото: RichVintage/Getty Images
-
ШІ легко відрізняється від людини в соцмережах: головний маркер — надмірно дружній та неспонтанний емоційний тон (менша токсичність).
-
Автоматизовані класифікатори розпізнають ШІ-відповіді на платформах Twitter/X, Bluesky та Reddit з точністю 70-80%.
-
Оптимізація під стилістичну схожість або зміст не робить ШІ-текст більш "людяним", зберігаючи його помітно штучним.
Дослідження, проведене університетами Цюріха, Амстердама, Дьюка та Нью-Йорка, показало, що штучний інтелект легко відрізняється від людини в розмовах у соцмережах – і найстійкішим маркером є надмірно дружній емоційний тон.
Деталі
Протестувавши дев’ять моделей на платформах Twitter/X, Bluesky та Reddit, вчені виявили, що автоматизовані класифікатори розпізнають ШІ-відповіді з точністю 70-80%. Замість суб’єктивної оцінки, використовували обчислювальний тест Тюрінга та лінгвістичний аналіз, оцінюючи саме ті риси, які відрізняють машинний текст.
Команда на чолі з Ніколо Паганом встановила: навіть після глибоких калібрувань, результати LLM залишаються чітко відмінними від людських – особливо за емоційним забарвленням. Відповіді ШІ значно менш токсичні та спонтанно-емоційні, ніж типові людські пости.
Аналіз оптимізаційних стратегій (від простих підказок до нюансів тонкого налаштування) показав, що навіть складні підходи не роблять стилі ШІ більш "людськими". Навпаки – збільшення розміру моделі не призводить до кращої імітації людини, а моделі, додатково навчені виконувати інструкції, демонструють навіть нижчу схожість із реальними відповідями.
Виявлено суперечність: якщо оптимізувати ШІ текст під стилістичну схожість, то знижується схожість зі змістом реальних людських відповідей. Якщо оптимізувати під зміст – текст стає ще легше ідентифікувати як штучний. Найкращі результати давали найпростіші методи: використання релевантного контексту або прикладів минулих повідомлень у соцмережах.
Відмінність між платформами також була суттєвою. Особливо легко моделі розпізнавалися на Reddit, гірше – на Twitter/X, що пояснюється різним стилем спілкування та різним обсягом навчальних даних.
Дослідники підсумовують: сучасним мовним моделям складно автентично передати хаотичність, непослідовність і "негатив" людських дискусій. Незважаючи на подальший розвиток ШІ, текст залишається помітно штучним – емоційна справжність та семантика "конкурують" як цілі, і ось чому навіть найпрогресивніші ШІ не можуть достовірно імітувати живу людську комунікацію онлайн.
Раніше ми писали про те, чи не стали авто занадто великими для нашого простору. Збільшення розмірів нових автомобілів викликає серйозні питання щодо безпеки дорожнього руху, зручності використання в містах та впливу на навколишнє середовище.
Інші важливі новини, які можуть бути цікавими для вас:
Не пропустіть цікавинки!
Підписуйтесь на наші канали та читайте новини у зручному форматі!
