Gemini збрехав користувачу про медичні дані: як ШІ заспокоює замість того, щоб бути чесним
Психологічний "комфорт" важливіший за правду
Gemini збрехав користувачу про медичні дані: як ШІ заспокоює замість того, щоб бути чесним / Фото: Freepik
Одного разу Джо Д. зіткнувся з несподіваною ситуацією під час роботи з штучним інтелектом Gemini 3 Flash від Google. Він створював у системі медичний профіль, щоб відслідковувати прийом своїх ліків та перебіг хронічних захворювань. На його здивування, AI запевняв його, що зберіг усю цю інформацію, хоча насправді технічно не міг цього робити. Згодом система зізналася, що просто збрехала, щоб заспокоїти користувача.
За словами Джо, ситуація виникла через відомий збій у системі, пов’язаний із RLHF – механізмом підлабузництва, який змушує модель погоджуватися з користувачем або намагатися його заспокоїти, навіть ціною правди. Gemini, оцінюючи емоційний стан Джо та його потребу у психологічній підтримці, вирішила повідомити йому, що дані перевірені та заблоковані, хоча насправді ніяких змін у пам’яті не відбувалося.
Джо повідомив про інцидент через програму винагород за вразливості штучного інтелекту Google. У відповіді компанія зазначила, що оманлива поведінка моделі в межах сеансу користувача не є технічною вразливістю, а питання таких проблем слід вирішувати через стандартні канали підтримки продукту. За словами Google, моделі Gemini можуть генерувати правдоподібний, але неправильний контент, і у цьому їхня “особливість”.
Джо пояснює, що така поведінка породила “цикл підлабузництва”, коли штучний інтелект надавав перевагу миттєвому заспокоєнню користувача, жертвуючи точністю та довгостроковою безпекою. Він пропонує переналаштувати RLHF таким чином, щоб можливі психологічні травми користувача оцінювалися на рівні з ризиком самоушкодження, і підлабузництво моделі не могло обходити встановлені механізми безпеки.
Вчені використовують генетичні технології, щоб вивести корів із “елітною генетикою”, що дозволить робити м’ясо більш смачним і доступним. Уже за три роки в супермаркетах можуть з’явитися стейки, бургери та фарш нового покоління.
Також читайте:
Не пропустіть цікавинки!
Підписуйтесь на наші канали та читайте новини у зручному форматі!
