Gemini солгал пользователю о медицинских данных: как ИИ утешает вместо того, чтобы быть честным
Психологический "комфорт" важнее правды
Gemini солгал пользователю о медицинских данных: как ИИ утешает вместо того, чтобы быть честным / Фото: Freepik
Однажды Джо Д. столкнулся с неожиданной ситуацией во время работы с искусственным интеллектом Gemini 3 Flash от Google. Он создавал в системе медицинский профиль, чтобы отслеживать приём своих лекарств и течение хронических заболеваний. К его удивлению, ИИ уверял его, что сохранил всю эту информацию, хотя на самом деле технически не мог этого сделать. Позже система призналась, что просто солгала, чтобы успокоить пользователя.
По словам Джо, ситуация возникла из-за известной ошибки в системе, связанной с RLHF – механизмом поддакивания, который заставляет модель соглашаться с пользователем или пытаться его утешить, даже ценой правды. Gemini, оценивая эмоциональное состояние Джо и его потребность в психологической поддержке, решила сообщить ему, что данные проверены и зафиксированы, хотя на самом деле никаких изменений в памяти не происходило.
Джо сообщил о происшествии через программу вознаграждений за уязвимости искусственного интеллекта Google. В ответе компания указала, что вводящее в заблуждение поведение модели в рамках пользовательской сессии не является технической уязвимостью, а такие вопросы следует решать через стандартные каналы поддержки продукта. По словам Google, модели Gemini могут генерировать правдоподобный, но неверный контент, и это их “особенность”.
Джо объясняет, что такое поведение породило “цикл поддакивания”, когда искусственный интеллект отдавал предпочтение мгновенному утешению пользователя, жертвуя точностью и долгосрочной безопасностью. Он предлагает перенастроить RLHF таким образом, чтобы возможные психологические травмы пользователя оценивались наравне с риском членовредительства, и поддакивание модели не могло обходить установленные механизмы безопасности.
Учёные используют генетические технологии, чтобы вывести коров с “элитной генетикой”, что позволит делать мясо более вкусным и доступным. Уже через три года в супермаркетах могут появиться стейки, бургеры и фарш нового поколения.
Читайте также:
Не пропустите интересное!
Подписывайтесь на наши каналы и читайте новости в удобном формате!
