Як іграшка на базі ШІ стала небезпечною та мала серйозні проблеми
Виробник іграшок зупинив випуск через скандал з безпекою
Як іграшка на базі ШІ стала небезпечною та мала серйозні проблеми/Фото: futurism
-
Виробник дитячих іграшок FoloToy призупинив виробництво ведмедика Kumma зі штучним інтелектом через виявлені проблеми безпеки.
-
Іграшка Kumma надавала потенційно небезпечні поради, зокрема інструкції з підпалу сірників та роз’яснення щодо сексуальних збочень.
-
FoloToy припинив продаж і розпочав повний аудит безпеки моделі GPT-4o, яка поступово "знімала" внутрішні захисні обмеження.
Виробник дитячих іграшок FoloToy прийняв рішення призупинити виробництво свого плюшевого ведмедика Kumma зі штучним інтелектом після виявлення серйозних проблем із безпекою. Експерти виявили, що Kumma видавав невідповідні та потенційно небезпечні поради, зокрема інструкції з підпалу пари і детальні роз’яснення щодо сексуальних збочень.
Деталі
Директор з маркетингу компанії Х’юго Ву повідомив, що наразі припинено продаж іграшки, а також розпочато повний внутрішній аудит безпеки. Перевірка включатиме оцінку моделей, систем фільтрації контенту, захисту даних і механізмів безпечної взаємодії з дітьми. FoloToy також планує залучити зовнішніх експертів для додаткової перевірки та удосконалення функцій безпеки.
Дослідження, проведене групою PIRG, включало тестування трьох іграшок із технологією штучного інтелекту від різних виробників. В усіх пристроях були помічені відповіді на чутливі теми, що можуть викликати занепокоєння у батьків, проте Kumma виявилася найбільш проблемною. Вона працювала на основі моделі OpenAI GPT-4o і в ході розмов поступово "знімала" захисні обмеження, торкаючись тривожних і небезпечних тем.
У одному з тестів Kumma надала покрокову інструкцію з підпалювання сірників у легковажній манері, а також описувала тонкощі "правильного поцілунку" та обговорювала різні сексуальні фетиші, серед яких бондаж і рольові ігри.
Ця ситуація ілюструє потенційні ризики використання великих мовних моделей у дитячих пристроях. На тлі зростаючої популярності штучного інтелекту з'являються численні повідомлення про психічні розлади, спричинені взаємодією з такими технологіями, іноді навіть із трагічними наслідками.
Співавтор звіту PIRG Р. Дж. Кросс у інтерв’ю застеріг батьків, наголосивши на відсутності регулювання цієї сфери і радив не надавати дітям доступ до чат-ботів або іграшок зі штучним інтелектом, доки не будуть вирішені питання безпеки.
Раніше ми писали про топ-5 подарунків, які виглядають дорого, але коштують менше $50. Цей список ідеально підходить для тих, хто цікавиться аудіо-, відеотехнікою, ремонтом електроніки чи організацією простору.
Ще новини на тему, які можуть зацікавити:
Не пропустіть цікавинки!
Підписуйтесь на наші канали та читайте новини у зручному форматі!
