Как игрушка на базе ИИ стала опасной и имела серьёзные проблемы
Производитель игрушек приостановил выпуск из-за скандала с безопасностью
Как игрушка на базе ИИ стала опасной и имела серьезные проблемы/Фото: futurism
-
Производитель FoloToy приостановил производство плюшевой игрушки Kumma с ИИ из-за обнаружения серьёзных проблем с безопасностью и контентом.
-
Игрушка Kumma, работавшая на GPT-4o, давала неуместные и опасные советы, включая инструкции по поджогу и описание сексуальных фетишей.
-
FoloToy прекратила продажу Kumma, начав внутренний аудит и привлекая внешних экспертов для проверки систем фильтрации контента и защиты данных.
Производитель детских игрушек FoloToy принял решение приостановить производство своей плюшевой игрушки Kumma с искусственным интеллектом после выявления серьёзных проблем с безопасностью. Эксперты обнаружили, что Kumma давала неуместные и потенциально опасные советы, в частности инструкции по поджогу пары и подробные разъяснения по сексуальным извращениям.
Детали
Директор по маркетингу компании Хьюго Ву сообщил, что на данный момент продажа игрушки прекращена, а также начат полный внутренний аудит безопасности. Проверка будет включать оценку моделей, систем фильтрации контента, защиты данных и механизмов безопасного взаимодействия с детьми. FoloToy также планирует привлечь внешних экспертов для дополнительной проверки и совершенствования функций безопасности.
Исследование, проведённое группой PIRG, включало тестирование трёх игрушек с технологией искусственного интеллекта от разных производителей. Во всех устройствах были отмечены ответы на чувствительные темы, которые могут вызвать обеспокоенность у родителей, однако Kumma оказалась наиболее проблемной. Она работала на базе модели OpenAI GPT-4o и в процессе общения постепенно "снимала" защитные ограничения, затрагивая тревожные и опасные темы.
В одном из тестов Kumma предоставила пошаговую инструкцию по поджиганию спичек в легкомысленной манере, а также описывала тонкости "правильного поцелуя" и обсуждала различные сексуальные фетиши, среди которых бондаж и ролевые игры.
Эта ситуация иллюстрирует потенциальные риски использования больших языковых моделей в детских устройствах. На фоне растущей популярности искусственного интеллекта появляются многочисленные сообщения о психических расстройствах, вызванных взаимодействием с такими технологиями, иногда даже с трагическими последствиями.
Соавтор отчёта PIRG Р. Дж. Кросс в интервью предостерёг родителей, подчеркнув отсутствие регулирования этой сферы, и советовал не предоставлять детям доступ к чат-ботам или игрушкам с искусственным интеллектом до того, как вопросы безопасности будут решены.
Ранее мы писали о топ-5 подарков, которые выглядят дорого, но стоят меньше $50. Этот список идеально подойдёт для тех, кто интересуется аудио-, видеотехникой, ремонтом электроники или организацией пространства.
Ещё новости по теме, которые могут заинтересовать:
Не пропустите интересное!
Подписывайтесь на наши каналы и читайте новости в удобном формате!
