3D векторный анализ 2D ультразвуковых диагностических изображений
Метки: Computer aided detection, Computer vision, Компьютерное зрение, Машинное зрение, Радиомика, векторный анализ, манускрипт, распознавание образов, хай-тек
Содержание:
- Пролог
- Видео-доклад на FRUCT 2017
- Вступление
- Комбинаторика точек и векторов
- Метод
- Клиническое значение
- Технические аспекты
- Результаты
- Выводы
- Литература:
Результаты описываемого в данном материале исследования были представлены на английском языке на 21 конференции FRUCT в г. Хельсинки, Финляндия, которая проходила 6-10 ноября 2017г.
Видео-доклад вы можете посмотреть на Youtube-канале нашего сайта.
Я несколько раз пытался опубликовать эти результаты на русском языке в российских научных изданиях, но к сожалению тщетно. То то не это, то это не то. Как у нас это часто бывает, важна не сама работа, а некие правила ее подачи, например, что автор должен где-нибудь работать и его начальство должно подписать работу или требуют раскрытия кода алгоритма якобы для сравнения с уже имеющимися.
Ну хватит о грустном.
Текст доклада(англ.):
Рост вычислительной мощности современных компьютеров открывает новые горизонты для применения различных математических алгоритмов в нашей жизни, в том числе в здравоохранении. Нас уже не удивишь такими терминами как Большие Данные, искусственные нейронные сети (ИНС), машинное обучение, глубокое машинное обучение, искусственный интеллект(ИИ). Большей частью пока это стартапы лишенные практического применения, но научно-технический прогресс не остановить. Одним из наиболее востребованных направлений является так называемое машинное зрение, которое может быть использовано как в беспилотных транспортных средствах, так и в здравоохранении, например, в радиологии.
Поднятый шум в различных средствах массовой информации уже дает свои плоды.
Уже сейчас студенты на западе не выбирают специальность радиолога, т. к. боятся, что ИИ в будущем заменит их на рабочих местах.
Надо понимать, что время когда можно будет говорить об этом серьезно еще очень далеко, т. к. вычислительные мощности современных компьютеров пока все еще далеки от этого. В настоящее время ученые только в начале пути осознания всей сложности биологических механизмов, в частности человеческого зрения и того, сколько потребуется компьютерной вычислительной мощности для реализации подобного искусственного механизма. Но несмотря на то, что большинство наших знаний взято из природы (бионика), ученым следует опасаться генетических алгоритмов класса «черных ящиков» вроде ИНС, особенно в областях высокого риска, таких как здравоохранение[1]. Надо понимать, что отчасти то, что сейчас происходит в данной области имеет не столько научный, сколько рыночный интерес.
Большая часть теоретической базы, которая сейчас начала активно внедряться была выработана еще в середине прошлого века. Проблема тогда была в том, что не было достаточной мощных компьютеров для ее дальнейшего развития. К сожалению даже имеющейся сейчас мощности компьютеров для окончания этой работы все еще недостаточно. Я подвожу вас к тому, что именно поэтому сейчас так популярны ИНС.
Очень хорошо проблему дефицита вычислительной мощности описал в своей работе «Природа Кода» Д. Шифман[2]. Комбинаторика, которую так хорошо описал в своей работе В. Липский[3], это то, что Д. Шифман называет алгоритмами класса «brute force», или алгоритмы грубой силы. Это очень легко понять на примере феномена «Шекспировской обезьяны», который гласит, что если обезьяне дать печатную машинку, то рано или поздно случайным образом она напечатает «Гамлета». И скорее поздно, чем рано. Например в расчетах Д. Шифмана получилось, что только на набор одной фразы «Быть или не быть, вот в чем вопрос» у обезьяны уйдет больше времени, чем ушло на создание вселенной. И тут вступают в игру генетические алгоритмы, разновидностью которых является ИНС. Они не будут перебирать все комбинации, как это будет делать алгоритм грубой силы. Генетические алгоритмы работают по принципу «тепло-холодно», что позволяет им работать быстрее, но скорость имеет свою цену — неточность. Вместо Да или Нет, ИНС ответит вам Скорей всего, Может быть или Мало вероятно — т. е. тепло или холодно. А для точных алгоритмов нужны более мощные компьютеры, чем те, которыми мы сейчас обладаем.
И именно их разработкой и следует заниматься, а не тратить свое время на гадание.
Необходимо создавать алгоритмы с прозрачными принципами работы, востребованность в которых будет неуклонно расти, т. к. позволит врачу освободить себя от рутинной механической работы и сфокусироваться на пациенте, устраняя возможность ошибки человеческого фактора, неизбежной при высоком уровне нагрузки, который сейчас характерен для здравоохранения. Векторный анализ может быть использован без ИНС для распознавания изображений в том же ключе что и с ИНС — чем больше обучающая выборка изображений, тем более точное распознавание.
Алгоритмы распознавание образов с помощью компьютера (Computer aided detection - CAD), которые эмулируют человеческие органы чувств, хорошо известны. Наиболее популярные из них это программы оптического распознавания символов. Они используются для конвертирования сканированного печатного документа в электронный формат. Другой пример - это алгоритм распознавания лиц, который используется в цифровых фотокамерах для фокусировки на лицах. Также, есть алгоритмы распознающие речь, отпечатки пальцев и радужную оболочку глаза, которые часто используются в сфере безопасности и военных системах. О большинстве из этих алгоритмов, как я уже упоминал ранее, мы знаем с середины прошлого века.[4]
В то время были монохромные мониторы и компьютеры напоминающие большие шкафы, которые занимали целые комнаты. В дальнейшем появились персональные компьютеры значительно меньших размеров и с цветными мониторами, теперь даже карманные. Но постоянно растущая потребность в вычислительной мощности привела нас обратно к компьютерам занимающим целые комнаты и даже здания.
Согласно закону Мура компьютеры становятся в 2 раза мощнее каждые 2 года. Многоядерные центральные процессоры (ЦП) и графические процессоры (ГП) позволяют достигать небывалой по прежним меркам вычислительной мощности, но этой мощности все еще недостаточно для эмуляции активности даже одного человеческого мозга. Например, по сообщению Телеграф в 2014 году японские ученые использовали К-компьютер, в то время четвертый из самых мощных в мире, для симуляции человеческого мозга. Компьютер состоял из 705 024 ядер процессоров и имел 1,4 млн. Гб ОЗУ, но ему потребовалось 40 минут, чтобы выполнить работу, на которую человеческий мозг тратит 1 секунду.
Элиот Л. Сигел, профессор и проректор по информатике Университета Школы Медицины Мериленда на съезде радиологов RSNA 2016 участвовал в дебатах по поводу того, сможет ли ИИ заменить радиологов в следующие 25 лет. Сигел сказал, кто бы и что бы ни говорил, сейчас ИИ стоит на входе[5]. Ученый из Университета Торонто, Джефри Хинтон написал, что глубокое обучение будет лучше радиологов и заменит их в ближайшие 5-10 лет(Нью Йоркер, 2017). Сегодня ученые используют алгоритмы на основе высшей математики, такие, например, как предсказание погоды, это ошибочно иногда называют ИИ. В действительности на сегодняшний день не существует никакого ИИ. “Cogito, ergo sum” – Я мыслю, а значит существую (Рене Декарт). В действительности машина не может мыслить и учиться. Обучение это процесс осознания изучаемого предмета, но у машины нет сознания.
Комбинаторика точек и векторов
В настоящее время одним из модных трендов в CAD являются сверточные искусственные нейронные сети (СИНС), эта разновидность искусственных нейронных сетей(ИНС) стала очень популярной в сфере распознавания двумерных изображений, таких как рентгеновские, компьютерной томографии и др. СИНС работает на основе маленьких фрагментов изображения, которые еще называют зернами.
Парадигма от малого к большому не очень увязывается с механизмом того, как человек распознает изображение. Человек получает изображение полностью, и только затем делит его на фрагменты — области интереса(ОИ, по англ. region of interest — ROI). Сейчас ученые не до конца понимают механизм принятия решения ИНС, который представляет из себя «черный ящик» - известны только данные на входе и на выходе, и ничего о том, что происходит в интервале между этими этапами. На самом деле, это не кратчайший путь для того, чтобы увидеть нечто большое через много его маленьких фрагментов. Для сравнения, люди долго спорили круглая ли планета Земля, пока не поднялись в космос и не увидели её целиком. Важный аспект ИНС, о котором часто умалчивается, это то, что ИНС всего лишь классификатор. ИНС — верхушка айсберга имя которому CAD и отнюдь не необходимая. Большая часть ИНС это математические алгоритмы, такие как векторный анализ и др.
Одной из ступеней CAD является распознавание границ для дальнейшей сегментации изображения на ОИ. Как правило, эта ступень использует так называемый Оператор Собеля, который основан на определении разницы цветов внутри матрицы пикселей и часто используется в алгоритмах обработки изображений и компьютерного зрения. Этот оператор работает достаточно хорошо в случае с монохромными объектами на монохромном фоне(рис. 1). Но становится практически бесполезным по мере увеличения неоднородности изображения, в таких условиях и человеческий глаз порой с трудом может что-либо распознать(рис. 2).
а
б
Рис. 1. а монохромные объекты, б то же изображение после Оператора Собеля.
а
б
Рис. 2. а - Серошкальное ультразвуковое изображение подпеченочной кишечной инвагинации, б - то же изображение после Оператора Собеля.
В случаях с неоднородными изображениями использование Оператора Собеля приводит к получению эффекта «карандашного рисунка», который никак не помогает в обнаружении ОИ. Такой эффект может быть объяснен тем, что первоначально данный оператор был представлен в 1968 г., когда у компьютеров были монохромные мониторы и соответствующая монохромная графика. Предки хорошо знакомых нам цветных мониторов появились лишь в 1981 г.
Правильный путь развития CAD это «обучить» или, правильнее было бы сказать, запрограммировать машину находить ОИ по эквивалентным образцам из библиотеки. Такой подход можно назвать «обучение с учителем»[2]. Согласно Д. Шифману это « стратегия включающая учителя, который умнее нейронной сети». Опуская нейронную сеть, это будет звучать так - стратегия включающая учителя, который умнее алгоритма CAD. При этом «интеллект» алгоритма будет заключаться не столько в самом коде алгоритма CAD, сколько в массиве данных библиотеки. Что можно приравнять к опыту ученого.
Идея представленного в данной статье алгоритма основана на рассмотрении изображения, как комбинации точек и векторов, которую я реализовал на языке программирования Java.
Человек способен практически без труда понять что перед ним находится тоже изображение, как бы его не вращали в пространстве. Природа этого физиологического механизма до сих пор не до конца понятна. Возможно наша система зрения использует какие-то стартовые точки в процессе анализа изображения. При повороте эти точки и вектора смещаются. Остается несколько вопросов о том, как именно наша система зрения находит эти стартовые точки и вектора снова, может ли она изначально предсказывать все возможные положения этих точек в плоскости? Основы современной комбинаторики, как я уже упоминал ранее, были хорошо описаны В. Липским еще в 1982 г.[3]. С учетом комбинаторики компьютеру и не нужно думать, как человеку, достаточно уметь быстрее считать.
Рассматриваемый в данной статье алгоритм был использован для анализа диагностических ультразвуковых изображений (изображений УЗИ — ультразвукового исследования) полученных на ультразвуковом сканере Esaote MyLab 70.
Суть алгоритма написанного на языке программирования Java в расчете возможных комбинаций точек и векторов на изображениях с дальнейшим сравнением этих массивов данных. Конечно данный алгоритм был существенно облегчен с учетом имевшегося в наличии персонального компьютера.
Результирующие данные невозможно представить в двумерной плоскости, потому что разные вектора ложатся друг на друга с невозможностью их реверсивного разделения, как на многослойном изображении. Это все равно что смешать краски в один флакон, а потом попытаться вернуть их в исходное состояние. Для этого был выбран трехмерный формат представления, цветной режим(карта), по аналогии с таковыми режимами в УЗД(ультразвуковая диагностика), дуплексные режимы: цветное допплеровское картирование (ЦДК) — серошкальное двухмерное изображение плюс цветное показывающее движение крови или тканей, эластичность. Трехмерный режим в представляемом алгоритме формируется в конце векторного анализа, более яркий цвет соответствует большему перекресту точек или выражаясь по другому пикселей векторами. Это можно назвать весом пикселя. Векторы и комбинации точек не столь уникальны на ультразвуковых изображениях, поэтому вес пикселя является чрезвычайно полезным для обнаружения ОИ. Для улучшения восприятия ОИ (цветная область) алгоритм производит сглаживание разницы между соседними пикселями посредством матрицы 3х3 и эмпирически выбранного барьера в 10% от максимального веса пикселя. Как и в случае с рамкой вокруг области ЦДК, данный алгоритм также строит вокруг областей интереса рамки, но в отличие от ЦДК, где рамка строится изначально, данный алгоритм строит их ретроспективно, т. е. ищет эти области и окружает их рамками. Также алгоритм производит расчет стандартного отклонения и среднего арифметического.
Идея собрать библиотеку ультразвуковых изображений (эхограмм) для дальнейшего их математического анализа пришла мне после длительного периода суточных дежурств в качестве врача ультразвуковой диагностики в одной детской городской больнице. Большое количество рутинной работы в частности заключалось в поиске червеобразного отростка (аппендикса) для постановки диагноза о. аппендицит.
Диагностика аппендицита осложняется тем фактом, что многие другие заболевания могут давать сходную клиническую картину острого живота (гастроэнтерит, мезаденит, перекрут яичника, пиелонефрит и др.) . УЗИ доказало свою эффективность в дифференциальной диагностике этих заболеваний и является основным методом визуальной диагностики при о. аппендиците у детей. Конечно с тем же успехом можно использовать для поиска червеобразного отростка компьютерную томографию, но практические врачи отлично знают, что на практике это не реально. Основополагающим ультразвуковым критерием при аппендиците остается диаметр аппендикса. Задача УЗИ при подозрении на о. аппендицит заключается в обнаружении измененного или нормального аппендикса, а также других заболеваний дающих сходную клиническую картину[6].
В настоящее время мы наблюдаем появление ультразвуковых сканеров не требующих врача УЗИ в основном конечно это происходит на западе, доктор независимых, таких как сканеры мочевого пузыря или аорты. Аппараты этого типа позволяют с определенной степенью достоверности быстро получать ответы на конкретные вопросы без участия врача УЗИ.
Подобные алгоритмы заменяющие врача находят нужную область на ультразвуковом изображении, производят измерения не выводя само ультразвуковое изображение на экран монитора, а только размеры. Сканер мочевого пузыря измеряет объем мочи, сканер аорты - диаметр аорты. Преимущество обоих это снижение нагрузки рутинной работой на врачей УЗД, а также быстрый результат, без ожидания и очередей. Например, в некоторых больницах существует такая практика, что или детям или врачам УЗИ приходится перемещаться по больнице десятки раз для определения остаточной мочи, с чем прекрасно мог бы справиться указанный выше прибор без этих перемещений и траты времени врача. Другой вариант решения подобных проблем, это установка полноценных аппаратов УЗИ в каждое отделение больницы и обучение УЗИ врачей всех отделений — так называемая теория ультразвукового «фонендоскопа», также выглядит менее эффективным, как с финансовой, так и практической точки зрения — т. к. для врачей УЗД очень важен опыт, а не только базовое обучение. А опыт в человека, как базу данных в компьютер так быстро не загрузить. На это у людей уходят годы. Возвращаясь к портативным ультразвуковым сканерам узкого назначения можно предположить, что такое устройство гипотетически можно было бы нацелить и на диагностику о. аппендицита.
Для этого исследования были выбраны 3 ультразвуковых изображения с нормальным червеобразным отростком 3х разных пациентов(в дальнейшем - исходные изображения). Область изображения с червеобразным отростком была из них вырезана с формированием новых урезанных изображений(в дальнейшем — изображения мишени). Исходные изображения были дополнены серией изображений с поворотом на 45, 90 и 180 гр.(6 версий каждого исходного изображения). Задачей алгоритма было найти изображения мишени на исходных изображениях.
По причине ограничения ОЗУ (8 Гб, но реально алгоритм запускался с ограничением в 5 Гб) на имеющемся в наличии компьютере исходные изображения были вынужденно обрезаны до меньших размеров, примерно 150х150 пикселей, но даже при работе с такими маленькими изображениями Java 7 начала выдавать ошибку о нехватке памяти(out of memory). Для решения этой проблемы пришлось писать дополнительный алгоритм для формирования стеков, кэширования их на жестком диске с дальнейшем их последовательным чтением и записью. На эти цели потребовалось 600 Гб жесткого диска. Указанное ограничение естественно существенно замедлило алгоритм. Сравнение двух изображений занимало в среднем до 8-12 часов на ядре ЦП типа Йоркфилд. По приблизительным подсчетам для выполнения такой задачи без алгоритма кэширования стеков на жесткий диск потребовалось бы порядка 120 Гб ОЗУ или больше. Несколько вариантов (фильтров) создания векторов было написано. Из них были выбраны 2 наиболее репрезентативных и облегченных фильтров: один вариант цветозависимого и один вариант цветонезависимого (далее просто цветозависимый и цветонезависимый фильтры).
Важным ограничением также явился тот факт, что некоторые производители ультразвуковых сканеров по умолчанию в настройках выставляют компрессию статичных изображений и видео, что приводит к возникновению пиксельного «шума» - одни и теже изображения на незаметном подчас для человеческого глаза уровне немного отличаются, что весьма существенно при анализе комбинаций пикселей, т. к. и они меняются тоже. В данном случае изображения также были сохранены прибором в формате JPEG/MPEG. В дальнейшем алгоритм конвертировал их в PNG.
3 облегченные серии алгоритма были выполнены: сравнение урезанных исходных изображений с изображениями мишенями(рис. 3 , 4); сравнение урезанных исходных изображений с поворотами на 45 и 90 гр. по часовой и против часовой стрелки и на 180 гр. с изображениями мишенями(рис. 5); перекрестное сравнение (т. е. изображений разных пациентов — рис. 6). Цветозависимый фильтр в большинстве случаев выдал ИО меньшего размера чем цветонезависимый, что может быть гипотетически объяснено большей точностью цветозависимого фильтра и большей чувствительностью цветонезависимого. Также цветонезависимый фильтр оказался существенно быстрее.
3D-гистограммы представленные на рис. 4 нарисованы в программе OpenOffice Calc (бесплатный аналог Excel) для лучшего восприятия и наглядности результирующих изображений алгоритма, в дальнейшем они были конвертированы в серую шкалу с той же целью.
Используемые на рисунках обозначения: ROI – ИО, Target – изображение мишень(меньшее по размеру изображение), Match – совпадение в %(первое число — совпадение векторов, второе пикселей), Threshold – порог, Max — максимальный вес пикселя, Avg — среднее арифметическое, SD — стандартное отклонение.
А
Б
Рис. 3. Серия 1 - Сравнение урезанных исходных изображений с изображениями мишенями(target): А — цветозависимый фильтр, Б — цветонезависимый фильтр. Представлен набор изображений с 4 различных стадий анализа, слева направо: серошкальное изображение найденных пикселей(2D векторный анализ); серошкальное изображение плюс цветной режим пиксельных весов(3D векторный анализ); 3D векторный анализ плюс ИО(ROI); 2D векторный анализ плюс ИО.
А
Б
Рис. 4 Серия 1 (теже изображения что и на рис. 3): А — 3D-гистограмма весов пикселей(цветозависимый фильтр); Б - 3D-гистограмма весов пикселей(цветонезависимый фильтр).
Для правильного визуального сравнения/представления 3D-гисторамм и их связи с 2D изображениями, нужно понимать, что нулевая точка с координатами (0, 0) на 2D изображении находится в верхнем левом углу, тогда как на 3D-гистограмме в левом нижнем углу. Так что, нужно мысленно представить, что 2D изображение как будто упало вперед и высота пиков весов пикселей с 3D на 2D представлена интенсивностью цвета — чем выше пик на 3D, тем насыщенней цвет на 2D.
А
Б
Рис. 5 Серия 2 — поворот исходного урезанного изображения на 45 гр. по часовой стрелке: А — цветозависимый фильтр, Б — цветонезависимый фильтр. Набор изображений из 4 стадий, как и на рис. 3.
А
Б
Рис.6 Серия 3(перекрестное сравнение): А — цветозависимый фильтр, Б — цветонезависимый фильтр. Набор изображений из 4 стадий, как и на рис. 3.
Данный алгоритм может быть использован на уровне PACS – RIS (Picture Archiving and Communication System – Radiology Information System), диагностических ультразвуковых сканеров в радиологических отделениях госпиталей и даже в таких задачах, как отслеживание подвижных структур, таких как стенки сердца в процессе ЭхоКГ, при условии, что указанное оборудование будет обладать достаточно высокой вычислительной мощностью.
Наиболее вероятный вариант использования его на уровне мощного дата-центра или суперкомпьютера, в качестве серверной части поискового движка, куда врачи смогут оправлять свои диагностические изображения и получать наиболее релевантный ответ из библиотеки данных или в качестве серверной части сетевого мобильного приложения.
Возможность, эффективность и экономическая целесообразность работы этого алгоритма в среде ГП(параллельные вычисления) не ясна, т. к. не изучалась, по причине отсутствия и дороговизны соответствующего оборудования, а также по причине того, что стоимость материнской платы с ЦП с возможностью установки предположительно необходимого количества ОЗУ почти эквивалентна стоимости ГП.
С ростом вычислительной мощности компьютеров появляются новые возможности для здравоохранения по высвобождению врачей от рутинной работы, сохранения драгоценного времени пациентов и врачей в ургентных отделениях(приемные и реанимационные отделения) в том числе для предотвращения осложнений заболеваний. Это направление реализуется различными алгоритмами, ИНС, машинным и глубоким обучением. И сейчас мы только в начале пути. Представленный в данной статье алгоритм из категории машинного зрения. В этом направлении еще много вопросов, проблем и вызовов ожидает ученых до создания машинного зрения подобного человеческому. Все это безусловно и не чистая математика и не чистая биология, а бионика.
Трудно сказать, какой именно должна быть вычислительная мощность компьютера, чтобы сравниться с человеческим мозгом, в частности задействованной для выполнения функции зрения. Существует мнение, что технология современных компьютеров скоро достигнет своего потолка, а ученые так и не достигнут уровня, который достигла природа. Предпринимаются попытки по созданию принципиально отличных от привычных нам компьютеров: био и даже квантовых компьютеров. Возможно именно за ними будущее подобных ИИ систем.
Но даже сегодня мы уже можем использовать ряд инноваций, но нужно остерегаться слепой веры алгоритмам, особенно основанным на концепции «черного ящика», наоборот нужно больше алгоритмов с прозрачно понятными принципами работы, во избежание ошибок ценой которых может стать чья-то жизнь.
Представленный в данной статье алгоритм основанный на 3D векторном анализе может быть использован без ИНС или других «черных ящиков» для распознавания ультразвуковых 2D изображений.
Необходимы дальнейшие работы с алгоритмом на выборках большего размера с целью получения более достоверных данных, а также определения необходимой вычислительной мощности для работы в реальных клинических условиях.
Идея конкретного использования данного алгоритма представленная в данной статье гипотетически может быть реализована и как портативное устройство для ургентных отделений для обнаружения червеообразного отростка в дискретной форме(да или нет) без вывода на экран серошкального ультразвукового изображения. Но это лишь пример применения данного алгоритма. Его область применения значительно шире и может применяться и в других, не медицинских, отраслях — поиск маленького объекта - «мишени» с определенными характеристиками по образцам из библиотеки данных на большом изображении.
Рис. 7 Пример работы алгоритма со спутниковой картой Google.
Рис. 8 Пример работы алгоритма классификации изображений.
Рис. 9 Пример работы алгоритма поиска похожих изображений.
Текст доклада на Национальном Суперкомпьютерном Форуме, 2018
[1] S. Haykin, Neural Networks. A Comprehensive Foundation. Canada, Russia: Williams Publishing House, 2001.
[2] D. Shiffman, The nature of code. USA: Creative Commons, 2012.
[3] W. Lipski, Combinatorics for programmers. Warsaw, Poland: Helion, 1982.
[4] J.T. Tou and R.C. Gonzales, Pattern recognition principles. Massachusetts, USA: Addison-Wesley Publishing Company, 1974.
[5] D. Yeager, “What Will Happen When Artificial Intelligence Comes to Radiology?”, in Radiology Today, vol. 17, N 5, 2016, p. 12.
[6] Diagnostic Ultrasound, ed. C.M. Rumack, S.R. Wilson, J.W. Charboneau and J-A. M. Johnson, 3rd ed., vol.1. Philadelphia, USA, Elsevier Mosby, 2005.