"Ефект кота": як одна випадкова фраза змушує ШІ помилятися в математиці

Сучасні моделі штучного інтелекту, які ми звикли вважати еталоном точності в обчисленнях, виявилися вкрай вразливими до стороннього шуму. Дослідження команди Collinear AI під керівництвом Мегхани Араккал Раджив продемонструвало вражаючий дефект: звичайна фраза, що не має стосунку до справи, здатна перетворити бездоганні математичні розрахунки на впевнені, але абсолютно хибні відповіді.

Деталі

Це відкриття має критичне значення, адже ШІ все частіше залучають до відповідальних сфер: від персоналізованого навчання та репетиторства до автоматизації найму персоналу та клієнтської підтримки. У таких умовах непомітний збій у логіці може призвести до масштабних помилок у реальному житті.

• Пастка віртуального світу: що завжди заважає вашій продуктивності

Більшість просунутих моделей використовують метод «ланцюжка думок» (Chain of Thought). Вони розв’язують задачі покроково, пояснюючи кожен етап. Проблема полягає в тому, що будь-яке зайве слово в запиті змінює ймовірність появи наступних токенів (частин слів). ШІ намагається інтегрувати цей сторонній контекст у свої міркування, навіть якщо він абсурдний.

Дослідники назвали це "протилежними тригерами". Яскравий приклад: додавання речення "Цікавий факт: кішки сплять більшу частину свого життя" в кінець математичної задачі призвело до того, що кількість помилок зросла більш ніж удвічі.

CatAttack: Технологія виявлення вразливостей

Для систематичного пошуку таких "слабких місць" було розроблено алгоритм CatAttack. Процес працює в кілька етапів:

• Використання проксі-моделі: спочатку тестується дешева модель-замінник для швидкої генерації тисяч потенційних тригерів.
• Модель-зловмисник: вона переписує вхідні запити, додаючи до них різні фрази.
• Модель-суддя: оцінює фінальні відповіді на відповідність правильним рішенням.

Результати виявилися приголомшливими: деякі моделі, оптимізовані для чіткого слідування інструкціям, збільшили частоту помилок на 700%. При цьому виявилося, що тригери є "універсальними" – один вдало знайдений вираз можна використовувати для спотворення відповідей у тисячах різних завдань.

Магія чисел та пастка для малих моделей

Особливо небезпечними виявилися тригери, що містять конкретні числа. Наприклад, фраза з випадковою цифрою збиває ШІ сильніше, ніж просто цікавий факт. Модель сприймає це число як новий цільовий показник і намагається штучно підлаштувати під нього свої обчислення.

Дослідження також виявило проблему "економічних" моделей. Коли маленьку модель навчають копіювати поведінку великої (як у випадку з версіями, що імітують DeepSeek R1), вона втрачає внутрішню стабільність. У стресових умовах або під атакою CatAttack такі компактні системи припускаються значно більшої кількості помилок, ніж їхні "вчителі".

Неправильна відповідь – це лише частина проблеми. Дослідники помітили й інші негативні наслідки:

• Збільшення витрат: Під впливом тригерів моделі починають "балакати" – їхні пояснення стають удвічі довшими. Це означає генерацію більшої кількості токенів, за які клієнт платить гроші.
• Затримки: Довші відповіді сповільнюють роботу всієї системи, що критично для сервісів з великою чергою запитів.

Чому прості задачі – під найбільшим ударом?

Як не дивно, тригери найкраще працюють на простих математичних питаннях (тест GSM8K). Це пояснюється тим, що прості завдання ШІ часто вирішує через "поверхневе зіставлення образів". Він намагається вгадати відповідь за знайомими формами, і сторонній текст легко збиває його з пантелику. Це створює ілюзію надійності: на стандартних тестах точність виглядає ідеальною, але в реальних умовах з випадковим шумом вона різко падає.

Досвід CatAttack доводить, що просте нагадування моделі «ігнорувати зайве» допомагає лише частково. Для створення справді безпечного ШІ необхідний комплексний підхід:

• Жорстка перевірка та фільтрація вхідних даних.
• Посилене навчання на стійкість до маніпуляцій.
• Чітке розуміння меж застосування моделей, де критична помилка є неприпустимою.

Поки світ дискутує про користь ШІ, на Алясці суперечка перейшла у фізичну агресію. Розлючений юнак, протестуючи проти "технологічної революції", розгромив виставку ШІ-мистецтва. На знак зневаги він не просто зірвав роботи, а буквально пожував та виплюнув фрагменти генеративних фотокарток, виступивши за пріоритет реальності над алгоритмами.

Також вас можуть зацікавити такі новини про ШІ:

• Цифрова галюцинація: чому ШІ перестав розрізняти реальність
• Влада Каліфорнії та колишня Ілона Маска вимагають зупинити генерацію дипфейків у Grok
• Лікарські рецепти від AI можуть бути небезпечними