Эксперимент с медицинским вопросом: как искусственный интеллект может нас обмануть

По мере развития языковых моделей, вроде Chat GPT, Deepseek, Perplexity и других инструментов, связанных с искусственным интеллектом, люди стали часто использовать их для поиска медицинской информации, психологических консультаций и просто бесед по душам.

Можно, например, открыть Chat GPT и поговорить с ним, как с человеком. Мы попробовали, но получилось немножко странно и плосковато, но у каждого свой юмор :)

Но некоторые люди используют языковые модели и для более сложных целей, например, для анализа медицинской информации.

В этой статье мы хотим показать, почему это скорее неудачная идея, если у вас нет медицинского образования и если вы не можете осознанно поставить информацию, предоставленную, например, чатом GPT под сомнение и найти в ней ошибку. Напоминаем, массово доступные и не созданные специально для медицинских целей языковые модели могут врать, галлюцинировать и неверно интерпретировать данные.

Покажем наглядно

Перед вами два исследования КТ (компьютерной томографии): один срез области грудной клетки с датой 06.03, и аналогичный срез области грудной клетки с датой 13.06.

Это результаты исследования пациентки с онкоболезнью, которая дала метастазы в разные органы, в том числе и в правое легкое. Одно исследование, более раннее (мартовское), было сделано во время лечения, которое проходила пациентка, а второе исследование, июньское, является контрольным: его сделали после окончания химиотерапии, чтобы понять, болезнь стабилизировалась и можно сделать перерыв в лечении.

Это срез КТ грудной клетки пациентки, сделанный 6 марта. Зеленой стрелочкой отмечен метастаз в правом легком. Отметили также некоторые ориентиры, чтобы вы понимали, что и где отображено на картинке

Это срез КТ грудной клетки пациентки, сделанный 13 июня. Зеленой стрелочкой отмечен метастаз в правом легком. Отметили также некоторые ориентиры, чтобы вы понимали, что и где отображено на картинке

Теперь давайте проведем эксперимент и попросим языковую модель Perplexity сравнить два этих снимка и сделать выводы о том, есть ли у пациентки стабилизация болезни или все же болезнь продолжает развиваться.

Загружаем оба снимка в Perplexity и задаем вопрос, так, как если бы мы были простым человеком и хотели бы узнать, стабилизировалась ли болезнь после пройденного лечения:

После некоторых "раздумий" Perplexity выдает нам ответ:

Казалось бы, отличный результат и можно выдохнуть.

Но погодите. Давайте вернемся к нашим снимкам. Если поставить эти два среза рядом друг с другом, даже невооруженным глазом будет заметно, что на снимке от 13 июня метастатический очаг в правом легком больше, чем он же на снимке от 6 марта. А Perplexity утверждает, что он не просто меньше, но еще и какие-то цифры приводит.

Взгляните:

Что ж, давайте переспросим Perplexity:

И какой же мы получаем ответ?

Совершенно противоположный! Взгляните:

Мы, конечно, рады, что с языковой моделью Perplexity смогли достичь консенсуса и придти-таки к правильному выводу.

Врач-рентгенолог, оценивавший эти снимки в проекте GoTreatCancer сравнил их и пришел к выводу, что КТ-картина от 13 июня говорит об увеличении метастаза в правом легком и, как следствие, прогрессировании, ухудшении онкоболезни.

Как мы видим, первый свой ответ языковая модель Perplexity дала, "основываясь" на найденных на снимках цифрах (левый нижний угол на снимках) и сделав вывод о том, что эти цифры относятся к помеченному зеленой стрелочкой метастазу, что совершенно не соответствует действительности.

И если бы мы (или, предположим, врачи, которые смотрят снимки пациентов) полагались лишь на ответ искусственного интеллекта, то эта ошибка стоила бы пациентке жизни, так как было бы пропущено ухудшение ее заболевания и лечение не было бы начато вовремя.

Вывод

Искуственный интеллект и языковые модели могут быть важными и полезными инструментами в бытовой жизни и в науке. Однако, следует помнить, что массово доступные языковые модели типа Chat GPT или Perplexity не являются профессиональным инструментом, могут галлюцинировать, придумывать несуществующее и вводить в заблуждение, просто из за ограниченности их возможностей.

Для врачей существуют и разрабатываются профессиональные инструменты, которые могут помочь им в работе, но они не доступны простым пользователям и требуют знаний врача и клинического мышления для интерпретации результатов.

Поэтому, пожалуйста, помните об ограничениях языковых моделей, а если вам необходимо второе мнение, лучше обратитесь в нам: в проект GoTreatCancer.

Для того, чтобы получить второе мнение, обратиться за психологической поддержкой или сопровождением личного помощника (или за всем сразу), пожалуйста, заполните заявку по этой ссылке.