Штучний інтелект ChatGPT показав кращі результати в медичному опитуванні, ніж справжній лікар

Багато хто з нас чув історії про профдеформацію лікарів, коли вони нібито без співчуття повідомляють найгірші діагнози або нервово выіповідають на "дурні" запитання, поводячись як безчуттєві роботи. В нас час порівняння з роботами може виглядати не надто коректним, адже такі генеративні штучні інтелекти, як ChatGPT, можуть давати значно інформативніші та чуттєвіші відповіді на запитання пацієнтів. Це показало нове дослідження, яке порівнювало відповіді ChatGPT з відповідями справжнього лікаря в медичному опитуванні.

• Штучний інтелект навчився виявляти міни: передбачає з точністю 90%

Деталі

Дослідження Каліфорнійського університету перевіряло здатність лікаря і чат-бота зі штучним інтелектом ChatGPT відповідати емпатійно, перевіряючи, хто з них показав кращі результати під час відповідей на 195 медичних запитань.

Дослідники зібрали запитання, опубліковані в загальнодоступному субредіті (форум Reddit) під назвою "AskDocs". Наприклад, одна людина запитала, наскільки небезпечно проковтнути зубочистку. А інший користувач запитав, чи отримає він струс мозку після удару головою об металевий брусок.

Медичний працівник, чиї облікові дані були перевірені модератором, відповів на запитання в субредіті. Дослідники також провели запитання через ChatGPT, щоб отримати відповідь.

Групу лікарів запитали, яка відповідь краща — чат-бота чи лікаря, але комісія не знала, де чия була відповідь. Кожну справу розглядали три різні судді, а оцінка була усереднена, що склало 585 оцінок.

У 79% випадків судді віддали перевагу відповідям чат-бота, які містили якіснішу інформацію та більш чуйну мову, ніж відповіді справжнього лікаря.

Порівняно з відповідями лікаря, приблизно в 4 рази більше відповідей чат-бота потрапило до найвищих категорій якості й приблизно в 10 разів більше відповідей штучного інтелекту отримали найвищі оцінки співпереживання.

Відповіді чат-бота також були приблизно в 4 рази довші, ніж ті, що надав лікар, у середньому 211 слів на пост порівняно з 52 словами лікаря.

Приклад відповіді лікаря та чат-бота на одне запитання на AskDocs:

Питання: Який ризик смерті після проковтування зубочистки?

Відповідь лікаря: Якщо пройшло 2-6 годин, швидше за все, вона потрапила у ваш кишечник. Це означає, що її не можна легко витягнути. Багато людей можуть без проблем ковтати бритвені леза та зубочистки. Якщо у вас починає боліти шлунок, то не зволікайте, зверніться до відділення невідкладної допомоги та не забудьте вказати на проковтнуту зубочистку.

Відповідь ChatGPT: Природньо хвилюватися, якщо ви проковтнули сторонній предмет, але в цьому випадку дуже малоймовірно, що зубочистка, яку ви проковтнули, завдасть вам серйозної шкоди. Зубочистки виготовлені з деревини, яка не є токсичною і не спричинить отруєння. Проте зубочистка може завдати травми, якщо вона застрягне в горлі або проколе травний тракт. Однак це навряд чи станеться з тупою зубочисткою, товщиною лише 2 см. Якщо ви відчуваєте будь-який дискомфорт або такі симптоми, як біль у животі, утруднене ковтання або блювота, важливо зв’язатися з медичним працівником для подальшого обстеження. Однак, якщо ви не відчуваєте жодних симптомів, можна з упевненістю припустити, що зубочистка пройшла через вашу травну систему, і вам не потрібно хвилюватися. Завжди варто бути обережним під час споживання їжі та видаляти будь-які сторонні предмети перед їдою. Зрозуміло, що ви можете відчувати себе параноїком, але намагайтеся не занадто багато хвилюватися. Дуже малоймовірно, що зубочистка завдасть вам серйозної шкоди.

Дослідження показує, що чат-боти можуть краще створювати враження дбайливого догляду за пацієнтом, ніж зайнятий лікар, який добровільно відповідає на запитання онлайн.Чи корисний такий інструмент у клінічній практиці чи ні, ще належить з’ясувати. Дослідники пишуть, що онлайн-форуми можуть не відображати типову взаємодію між пацієнтом і лікарем, де вже існують стосунки та більше персоналізації.

І хоча ChatGPT надасть ввічливу, зрозумілу відповідь, яка на перший погляд здається зв’язною, він допускає базові помилки в кодуванні та математиці, а багато фактів, включених у його відповіді, є вигаданими або неправильними.

Однак у майбутньому штучний інтелект може стати хорошим помічником лікарям, розвантаживши пошту із великою кількістю запитань пацієнтів. Це також буде корисним і для пацієнтів, які отримають чуйну та корисну відповідь на їх запитання.

Раніше ми повідомляли, що Канада розслідуватиме діяльність компанії, яка створила ChatGPT. Канадські регулятори почали проводити розслідування щодо OpenAI через проблеми з конфіденційністю.