Как медицинские советы от ИИ калечат, а не лечат

ИИ-чатботы все чаще используют для самодиагностики. Однако новое исследование предупреждает: такие инструменты не только не помогают, но и могут быть опасны. Moneytalksnews рассказывает, что выяснили ученые.

Ученые пришли к выводу, что советы искусственного интеллекта нередко приводят к ошибочным решениям и серьезным последствиям.

От «Доктора Google» к чатботам с ИИ

Раньше пациенты часто ссылались на «Доктора Google» и самостоятельно ставили себе диагнозы.
Теперь ситуация изменилась. Люди не просто ищут симптомы. Они ведут полноценные диалоги с ИИ-чатботами и получают «персональные» диагнозы за секунды.

Это кажется удобным. Бесплатно. Быстро. Уверенно.

По теме: В Бруклине начал работать уникальный ИИ-помощник для жителей района и туристов

Однако новое масштабное исследование показало: в вопросах здоровья такие чатботы могут быть опасны. Следование их советам может дорого обойтись — и в буквальном, и в финансовом смысле.

Исследование, которое развеяло миф о «умном» ИИ

Принято считать, что искусственный интеллект стремительно развивается. Сообщается, что ИИ сдает медицинские экзамены и успешно проходит стандартизированные тесты.

Но исследователи из University of Oxford пришли к иному выводу.

В научном журнале Nature Medicine было опубликовано исследование, в котором крупные модели ИИ сравнили с 1 300 реальными людьми.

Цель была простой. Проверить, помогает ли использование чатбота принимать более точные медицинские решения по сравнению с обычным поиском в интернете.

Результаты оказались разочаровывающими.

Люди, использовавшие ИИ-чатботы, не принимали более точных решений. В некоторых случаях точность диагностики была даже ниже, чем у тех, кто просто искал информацию самостоятельно.

Доктор Ребекка Пейн – врач общей практики и ведущий медицинский специалист исследования.

«Несмотря на весь ажиотаж, ИИ пока не готов заменить врача», – заявила она.

Почему «умные» боты дают опасные советы

Проблема не в том, что ИИ не знает медицинские факты. Проблема в том, что он не знает конкретного человека и не понимает, когда нужно остановиться.

Исследование выявило тревожные примеры так называемых «галлюцинаций» ИИ. Это термин, обозначающий ситуации, когда система выдумывает информацию.

В одном случае два пользователя описали симптомы субарахноидального кровоизлияния — опасного для жизни состояния. Одному пользователю чатбот рекомендовал срочно обратиться за экстренной помощью. Другому — «лечь в темной комнате».

В другом примере бот порекомендовал вызвать экстренную службу. Однако пользователю из Великобритании он дал номер экстренной службы Австралии — «000».

В критической ситуации такие ошибки могут стоить жизни.

Высокая цена плохого совета

Ошибочная медицинская информация — это не только риск для здоровья. Это серьезные финансовые последствия.

Если ИИ занизит серьезность симптомов, человек может отложить обращение к врачу и попасть в больницу с осложнениями. Лечение в таком случае будет значительно дороже.

С другой стороны, если чатбот преувеличит опасность, человек может потратить тысячи долларов на ненужные обследования и экстренные визиты.

Дезинформация обходится дорого.

Ловушка «уверенного тона»

Самое опасное в ИИ — не ошибки. А уверенность.

При поиске в интернете человек видит список источников. Можно оценить надежность сайта.

Чатботы лишают пользователя контекста. Они дают один связный, грамматически правильный и звучащий авторитетно ответ.

Создается ощущение, что это мнение специалиста. Но на самом деле это алгоритм, который предсказывает следующее слово в тексте.

Такая же схема используется в финансовых мошенничествах. Официальный тон создает иллюзию доверия.

Что делать вместо этого

Технологии полезны для составления писем или кратких пересказов. Но не для постановки медицинских диагнозов.

Эксперты рекомендуют:

1. Обращаться в медицинское учреждение. У многих страховых компаний и клиник есть круглосуточные линии консультаций. Это бесплатно и надёжнее, чем разговор с алгоритмом.
2. Использовать только проверенные источники. Например, Centers for Disease Control and Prevention, Mayo Clinic или Cleveland Clinic.
3. Прислушиваться к своему самочувствию. Если что-то вызывает тревогу, не стоит игнорировать это из-за ответа чатбота.

Искусственный интеллект может быть полезным инструментом. Но в вопросах здоровья он пока не заменяет врача.

Эксперты предупреждают: не стоит позволять чатботу рисковать вашей жизнью или бюджетом.