Глубокая яма для Глубокого обучения

    По данным публикации в Открытом издании Британского журнала Радиологии(British Journal of Radiology | open) за январь 2019 - The challenge of clinical adoption—the insurmountable obstacle that will stop machine learning? / Клиническое неприятие - непреодолимое препятствие, которое остановит машинное обучение? - внешняя ссылка

    Машинное обучение является предметом серьезного интереса в нескольких областях медицины. Имея историю успеха в немедицинских задачах анализа изображений, оно обещает разрушительные и преобразующие изменения в радиологии. В частности, оно было разработано для компьютерных приложений диагностики и обнаружения(CAD, *см. словарь - CAD :: Словарь - Для врачей УЗИ :: ... ), а также для задач обработки данных, таких как автоматические измерения объема опухоли. Тем не менее, несмотря на внимание средств массовой информации и впечатляющие результаты, полученные в условиях лаборатории, где, например, было установлено, что машины превосходят радиологов в выполнении задач по распознаванию определенных заболеваний, применение в клинике остается крайне незначительным. В данной статье обсуждаются некоторые существенные проблемы клинического внедрения, которые, по мнению авторов статьи, до сих пор блокировали прогресс в направлении широкого распространения, но которые редко обсуждаются в литературе. Они считают, что без значительных ресурсов, сосредоточенных на этих проблемах, машинное обучение будет по-прежнему иметь ограниченное применение в клинической радиологии.

    Чтобы принять обоснованное решение о том, стоит ли инвестировать в технологию машинного обучения, необходимы репрезентативные клинические результаты. Однако таких данных часто сильно не хватает. Во-первых, разработка алгоритма и тестирование часто выполняются на ограниченных наборах данных, которые могут быть не характерны для клиники и могут не ассоциироваться с адекватными диагнозами «золотого стандарта». Многие исследователи используют общедоступные наборы данных, такие как базы данных Инициативы по изучению болезни Альцгеймера (ADNI) (www.adni.loni.usc.edu). Однако эти наборы данных часто собираются в рамках исследований, а не клинических протоколов, с использованием устаревшего оборудования. Таким образом, могут быть существенные неопределенности относительно вероятной эффективности клинических данных. Например, на основе данных ADNI разрабатывался алгоритм CAD Слабоумие(Dementia). Участникам было предложено создать алгоритм классификации, основанный только на очень ограниченной обучающей выборке(n = 30). Все, кроме 2 из 29 представленных алгоритмов классификации, использовали данные ADNI для дополнения обучающей выборки. Однако почти в каждом случае оценочная точность алгоритма была ниже на новых данных, чем на основе обучающей выборки.

    Кроме того, алгоритмы машинного обучения редко тестируются в среде, для которой они были специально разработаны. Результаты автономной работы обычно генерируются в контролируемой среде без участия человека. Однако результаты, полученные с помощью инструментов машинного обучения, в какой-то момент должны быть интерпретированы врачами. Это особенно актуально для программного обеспечения вспомогательных отчетов, которое предназначено для непосредственного влияния на окончательное решение радиологов. Однако без доказательства влияния CAD на принятие решения врачом, плюсы от CAD для здравоохранения не могут быть определены.

    Когда программное обеспечение, предназначенное для влияния на диагностику или лечение пациентов, выпускается на рынок, оно обычно подчиняется какой-либо форме регулирования. В Европе производитель должен придерживаться Директивы о медицинском оборудовании. Независимо от классификации в соответствии с правилами продукты должны быть спроектированы таким образом, чтобы безопасность пациента не подвергалась риску, а тестирование проводилось для обеспечения того, чтобы продукт функционировал, как предполагалось. Обеспечение безопасности пациентов может быть затруднено для алгоритмов работающих по принципу «черного ящика», таких как нейронные сети, где результаты и риски может быть сложно прогнозировать.

    Большинство регуляторных режимов требует клинических испытаний для подтверждения эффективности окончательного проекта. Постоянное наблюдение обычно требуется для выявления и исправления любых ошибок, связанных с программным обеспечением. Таким образом, соблюдение правил обычно требует значительных финансовых ресурсов и разнообразных знаний. Затраты, как правило, выше, если классификация рисков высока, что может быть в случае алгоритмов машинного обучения, предназначенных для непосредственного воздействия на решения радиологов.

    Кроме того, текущая модель регулирования устройств в Европе (и в других юрисдикциях) предполагает, что медицинские продукты являются статичными объектами, и любые существенные изменения в продукте требуют повторного утверждения. Для алгоритмов машинного обучения, которые предназначены для постоянного переучивания и адаптации их результатов в клинике, такой подход к регулированию медицинского оборудования нецелесообразен.

    При принятии решения о том, следует ли вкладывать средства в определенные медицинские продукты, многие системы здравоохранения используют экономический анализ для обоснования своего решения. В Великобритании Национальный институт здравоохранения и передового опыта (NICE, www.nice.org.uk) уделяет большое внимание таким данным при разработке рекомендаций по медицинским технологиям. Это гарантирует, что разработанные продукты выдержали анализ затрат и выгод, предоставляя доказательства, которые могут способствовать широкому внедрению в клиническом сообществе. Тем не менее, даже для самых простых методов экономического анализа, таких как анализ затрат и последствий, требуются доказательства для количественной оценки влияния технологии на ресурсы, а также данные о вероятных клинических преимуществах. Для многих алгоритмов машинного обучения это сложно. Например, сбор убедительных данных о влиянии CAD на судьбы пациентов, по сравнению со стандартными методами, вероятно, потребуется обширное тестирование с участием рентгенологов в реалистичных клинических сценариях. Еще раз, это, вероятно, будет дорого, сложно и отнимет много времени.

    Инструменты машинного обучения не могут быть реализованы изолированно. Если машинное обучение должно использоваться на регулярной основе, программное обеспечение должно быть интегрировано в инфраструктуру больницы таким образом, чтобы врачи могли легко получить к нему доступ и использовать его в соответствии с местными правилами, и чтобы можно было бы осуществлять двухсторонний обмен данными с CAD, туда и обратно, по мере необходимости. Однако между больницами существуют существенные различия в отношении к информационным технологиям, и связанные с этим ограничения, а также различия клинических протоколов и рабочих процессов. Опасности игнорирования локальных обстоятельств отражаются в недавнем сообщении о том, что проект IBM Watson для Онкологии (for Oncology) не смог добиться широкого распространения в клинической практике, и заложенная в алгоритме предвзятость по отношению к американской системе здравоохранения была указана в качестве основной причины отсутствия устойчивого распространения за пределами США. Однако разработка программного обеспечения, которое можно адаптировать к различным условиям, является сложной задачей, и, в конечном итоге, может оказаться невозможным удовлетворить всем требованиям различных больничных сетей.

    Исследования машинного обучения часто основаны на использовании ретроспективных данных о пациентах, полученных в рамках стандартных процедур ведения пациента. Шаги, необходимые для достижения этического одобрения в таких обстоятельствах, хорошо известны в Европе и Соединенных Штатах. Однако, если данные пациента используются для обучения алгоритма, который затем продается на коммерческой основе с целью получения прибыли, то могут возникнуть проблемы, связанные с владением данными и этикой, особенно когда данные были первоначально получены системой здравоохранения, финансируемой государством. Кроме того, если данные получены в Европе и не являются полностью анонимными, применяются Общие правила защиты данных (GDPR), которые требуют, чтобы обработка персональных данных соответствовала одному из указанных законных оснований. Если согласие выбрано в качестве законной основы, отдельные пациенты должны давать согласие на использование их данных для развития машинного обучения. Это еще одно препятствие для разработки, и получение такого согласия и управление им сопряжены с дополнительными затратами в процессе разработки.

    Как подчеркивалось в недавнем отчете Королевского Фонда (King's Fund) о внедрении инноваций в NHS(*государственное здравоохранение великобритании), обычно необходимы значительные инвестиции для продвижения и поддержки внедрения новых технологий. Простого получения свидетельства воздействия недостаточно, чтобы гарантировать внедрение в систему здравоохранения. Если машинное обучение станет действующей технологией в радиологии, вероятно, потребуется поддержка со стороны ИТ-специалистов, менеджеров, рентгенолаборантов, радиологов, чтобы обеспечить ее надлежащую интеграцию в клинику. Это требует не только времени (и, следовательно, увеличения финансовой поддержки), но и конечных пользователей и пациентов, которые должны быть убеждены в его достоинствах. Поэтому также необходимы значительные инвестиции для продвижения технологии, чтобы клиницисты активно продвигали внедрение. Тем не менее, предполагаемая угроза роли радиологов(*типа того, что ИИ скоро заменит врачей) со стороны машинного обучения, которая часто раздувается статьями в популярной прессе, может затруднить убеждение клинического сообщества в необходимости изменений.

    Машинное обучение обещает многое, но, учитывая все вышеперечисленные соображения, ясно, что ресурсы, необходимые для внедрения технологии машинного обучения в клинику, значительны. Кроме того, потребуется больше, чем просто финансы, чтобы машинное обучение смогло выполнить свои обещания.

    В последние годы появилось определенное признание того, что нужно также решать проблемы реализации(*маркетинг), а не фокусироваться только на разработке самих алгоритмов. Например, правительство Великобритании стремится реализовать рекомендации из промышленной стратегии в области биологических наук, в которых говорится о внедрении искусственного интеллекта и необходимости финансирования для продвижения технологий за пределы исследовательской сферы. В документе также признается, что вопросы, связанные с владением данными, законодательством и процессами экономической оценки, требуют внимания, чтобы широкое внедрение стало реальностью. В Соединенных Штатах FDA(*аналог нашего Роспотребнадзора) недавно приняло более активную роль в попытках упорядочить регулирующее одобрение для программного обеспечения, как это предусмотрено в Плане действий по инновациям в области цифрового здравоохранения. Еще одним положительным признаком является то, что FDA недавно одобрило первое медицинское устройство, которое может диагностировать заболевание без участия врача (IDx-DR). Однако, несмотря на эти новые разработки и инициативы, внедренческое бремя, налагаемое на новые технологии машинного обучения, остается относительно неизменным.

    Есть некоторые приложения, где выгоды от машинного обучения, вероятно, будут настолько велики, что будет необходима поддержка из множества источников, чтобы преодолеть все описанные проблемы (при условии, что технология достаточно зрелая). Например, скрининговые исследования молочной железы и легких дают большие объемы данных, которые должны изучить врачи. Разработка компьютерной системы, которая может автоматически отображать такие изображения, позволит сэкономить значительную сумму денег и уменьшить нагрузку на время радиологов, что станет сильным стимулом для принятия такой CAD в клинике. Потенциальный рынок для разработчиков такого программного обеспечения будет большим, стимулируя коммерческие инвестиции.

    Кроме того, есть некоторые приложения машинного обучения, связанные с деятельностью с более низким риском, такие как автоматическая сегментация опухолей, где барьеры для принятия (особенно с точки зрения регулирования), вероятно, будут менее существенными.

    Однако очевидно, что для большинства радиологических применений баланс между потенциальными выгодами и вероятными затратами в настоящее время слишком сильно смещен в пользу затрат, так что широкое клиническое применение вряд ли будет достигнуто в ближайшее время. Для улучшения этой ситуации необходимы фундаментальные изменения.

    Возможно, самой большой проблемой, стоящей перед разработчиками машинного обучения (особенно в небольших компаниях), является отсутствие доступа к реалистичным клиническим данным. Однако широко распространенный обмен данными о пациентах требует инвестиций в инфраструктуру и связан со значительным репутационным риском для поставщика медицинских услуг (о чем свидетельствует негативная пропаганда таких проектов, как проваленная программа NHS England Care.data). Таким образом, в соответствии с недавним заявлением правительства Великобритании об искусственном интеллекте, авторы заявления выступают за создание трастов данных для создания систем обмена данными(*Дата-шеринг / data sharing) и для контроля потоков данных безопасным, этичным и прозрачным образом.

    Без этих действий существует опасность того, что препятствия для обычного применения машинного обучения в радиологии будут непреодолимыми.

    *Что тут хочется сказать?! Да, многие аспекты внедрения CAD в реальное здравоохранение здесь описаны. Одной из ключевых проблем на пути реализации глубокого обучения(а под этим термином подразумевается именно ИНС - т.е. искусственные нейронные сети) безусловно до сих пор является фундаментально неисправимая проблема "черного ящика", о которой я уже писал в - 3D векторный анализ 2D ультразвуков... - Т.е. врач работающий в доказательной медицине, не может принимать решение на основе закрытых алгоритмов, т.к. это сродни гаданию. Финансовые и Юридические аспекты безусловно также важны, т.к. если диагноз будет ставить "машина", то и в случае исков от пациентов отвечать будет не врач и не клиника, а производитель данной "машины". Дата-шеринг с юридической точки зрения - это меньшая из проблем, а вот с практической и финансовой - это большая проблема, т.е. кто и как это будет собирать, где хранить - по финансовым затрататам это будет эквивалент "закона Яровой". Данные надо будет постоянно обновлять - удалять устаревшие, заносить новые, исправлять ошибки и т.д., т.е. потребуется море операторов, как в художественном фильме Сфера(The Circle 2017), где толпы модной молодежи играют в социальную сеть за деньги - видимо это работа мечты, по мнению поколения Z, как теперь принято выражаться.

    *Я согласен с авторами статьи в том, что вопрос о замене в ближайшем будущем врачей, в частности радиологов, алгоритмами на основе глубокого обучения, ИИ и т.п. не стоит - в настоящее время это фантастика.

    *комментарии редактора