Искусственный интеллект ChatGPT показал лучшие результаты в медицинском опросе, чем настоящий врач

Многие из нас слышали истории о профдеформации врачей, когда они якобы без сострадания сообщают самые плохие диагнозы или нервно отвечают на "глупые" вопросы, ведя себя как бесчувственные роботы. В наше время сравнения с роботами может выглядеть не слишком корректно, ведь такие генеративные искусственные интеллекты, как ChatGPT, могут давать более информативные и чувственные ответы на вопросы пациентов. Это показало новое исследование, сравнивающее ответы ChatGPT с ответами настоящего врача в медицинском опросе.

• Искусственный интеллект научился обнаруживать мины: предугадывает с точностью 90%

Детали

Исследование Калифорнийского университета проверяло способность врача и чат-бота с искусственным интеллектом ChatGPT отвечать эмпатично, проверяя, кто из них показал лучшие результаты во время ответов на 195 медицинских вопросов.

Исследователи собрали вопросы, опубликованные в общедоступном субредите (форум Reddit) под названием AskDocs. Например, один человек спросил, насколько опасно проглотить зубочистку. А другой пользователь спросил, получит ли он сотрясение мозга после удара головой о металлический брусок.

Медицинский работник, чьи учетные данные были проверены модератором, ответил на вопросы в субредите. Исследователи также провели вопросы через ChatGPT, чтобы получить ответ.

Группу врачей спросили, какой ответ лучше — чат-бота или врача, но комиссия не знала, где чей был ответ. Каждое дело рассматривали три разных судьи, а оценка была усреднена, что составило 585 оценок.

В 79% случаев судьи предпочли ответы чат-бота, которые содержали более качественную информацию и более отзывчивую речь, чем ответы настоящего врача.

По сравнению с ответами врача, примерно в 4 раза больше ответов чат-бота попало в самые высокие категории качества и примерно в 10 раз больше ответов искусственного интеллекта получили самые высокие оценки сопереживания.

Ответы чат-бота также были примерно в 4 раза длиннее, чем те, которые предоставил врач, в среднем 211 слов на пост по сравнению с 52 словами врача.

Пример ответа врача и чат-бота на один вопрос на AskDocs:

Вопрос: Каков риск смерти после проглатывания зубочистки?

Ответ врача: Если прошло 2-6 часов, скорее всего она попала в ваш кишечник. Это означает, что ее нельзя легко вытащить. Многие могут без проблем глотать бритвенные лезвия и зубочистки. Если у вас начинает болеть желудок, то не откладывайте, обратитесь в отделение неотложной помощи и не забудьте указать на проглоченную зубочистку.

Ответ ChatGPT: Естественно волноваться, если вы проглотили посторонний предмет, но в этом случае очень маловероятно, что проглоченная зубочистка нанесет вам серьезный вред. Зубочистки изготовлены из древесины, которая не является токсичной и не приведет к отравлению. Однако зубочистка может нанести травму, если она застрянет в горле или проколет пищеварительный тракт. Однако это вряд ли произойдет с тупой зубочисткой, толщиной всего 2 см. Если вы чувствуете какой-либо дискомфорт или такие симптомы, как боль в животе, затрудненное глотание или рвота, важно связаться с медицинским работником для дальнейшего обследования. Однако если вы не чувствуете никаких симптомов, можно с уверенностью предположить, что зубочистка прошла через вашу пищеварительную систему, и вам не нужно волноваться. Всегда следует быть осторожным во время еды и удалять любые посторонние предметы перед едой. Понятно, что вы можете чувствовать себя параноиком, но старайтесь не слишком переживать. Очень маловероятно, что зубочистка нанесет вам серьезный вред.

Исследование показывает, что чат-боты могут лучше создавать впечатление бережного ухода за пациентом, чем занятый врач, добровольно отвечающий на вопросы онлайн. Полезен ли такой инструмент в клинической практике или нет, еще предстоит выяснить. Исследователи пишут, что онлайн-форумы могут не отражать типичное взаимодействие между пациентом и врачом, где уже существуют отношения и больше персонализации.

И хотя ChatGPT предоставит вежливый, понятный ответ, который на первый взгляд кажется связным, он допускает базовые ошибки в кодировании и математике, а многие факты, включенные в его ответы, вымышлены или неправильны.

Однако в будущем искусственный интеллект может стать хорошим помощником для врачей, разгрузив почту с большим количеством вопросов пациентов. Это также будет полезным и для пациентов, которые получат отзывчивый и полезный ответ на их вопросы.

Ранее мы сообщали, что Канада будет расследовать деятельность компании, создавшей ChatGPT. Канадские регуляторы начали проводить расследование по OpenAI из-за проблем с конфиденциальностью.