3D Векторный анализ цифровых изображений для компьютерного зрения
Метки: Computer aided detection, Computer vision, Компьютерное зрение, Машинное зрение, Радиомика, векторный анализ, манускрипт, распознавание образов, хай-тек
Данная статья является продолжением работы с алгоритмом 3D векторного анализа, результаты которого были опубликованы ранее.
3D векторный анализ 2D ультразвуков...
В данной статье представлены результаты анализа цифровых изображений 2 версии этого алгоритма.
Если в первой работе с алгоритмом производился анализ только медицинских изображений УЗИ, но оговаривалась более широкая область применения алгоритма, то в настоящей работе это было реализовано.
В качестве изображений для анализа были взяты несколько серий изображений, в частности 2 серии изображений со спутниковой карты Google(самолеты на аэродроме и корабли в порту) и одна серия медицинских изображений УЗИ с образованиями предположительно относящимися к маленьким гемангиомам: 2 гемангиомы почек и одна печени, причем снимки гемангиом почек были выполнены на разных аппаратах УЗИ(Esaote MyLab 70 — гемангиома округлой формы и Medison SonoAce R7 — гемангиома прямоугольной формы) но сходных типах датчиков(высокочастотных линейных датчиках в режиме сканирования — трапеция), а снимок гемангиомы печени был получен на другом типе датчика — конвексном с конвексным режимом сканирования на аппарате Medison SonoAce R7. В целом оба аппарата - Esaote MyLab 70 и Medison SonoAce R7 — по маркировке «7» должны быть сходного класса, но все-таки детализация полученного изображения на Esaote MyLab 70 несколько выше, что безусловно зависит от массы факторов и не обязательно связано с качеством самого аппарата, но и в частности от частоты сигнала и плотности пьезоэлементов в матрице конкретного датчика, глубины залегания объекта интереса и плотности и однородности предлежащих ему тканей.
Код алгоритма по сравнению с предыдущей версией был существенно оптимизирован, в частности по части объема кэширования промежуточных данных на жесткий диск, также алгоритм стека был существенно переработан из статического в динамический алгоритм с ориентацией на объем выделяемой алгоритму ОЗУ. Частично новая версия алгоритма теперь работает на 2 ядрах ЦПУ по принципу Fork & Join, что безусловно ускоряет работу на начальном этапе алгоритма, когда потребность единичного процесса в объеме ОЗУ минимальна, но на последующих этапах это теряет свой смысл, т. к. в качестве приоритета у алгоритма стека сохраняется потребность в большом объеме ОЗУ, а разделение ОЗУ на части при Fork & Join нивелирует пользу от задействования нескольких ядер ЦПУ, об увеличении количества операций по чтению и записи данных на жесткий диск можно даже не говорить. Параллельное вычисление в данном контексте не эффективно.
Также в новый алгоритм были добавлены новые опции, в частности возможность цензурирования изображения-мишени по цветам, что позволило отделять объект поиска от фона на изображении-мишени, т. е. отсечь «шум» от «полезного сигнала».
А
Б
В
Г
Рис. 1. Пример эффективности цензурирования цветов на серии изображений с самолетами.
А — без цензуры(Target), Б, В, Г — с цензурой(Filtered Target).
На рис. 1А хорошо видно, что без цензурирования цветов изображение-мишень на 90% состоит из фона и его алгоритм и находит. Это известная проблема, которую решают по разному, в частности как правило с помощью вариантов оператора Собеля.
На рис. 1Б, 1В и 1 Г видно (на меньшем изображении), что красным цветом уже подсвечивается не все изображение-мишень, а лишь «полезный сигнал» или сам объект поиска, который составляет лишь 10% от изображения-мишени (без фона) и сразу соответственно его алгоритм и находит.
Стоит отметить, что представленные на рис. 1 изображения являются разными, т. е. это не искусственно повернутое изображение(такие серии использовались в предыдущей работе) одного и того же самолета, а разные изображения разных самолетов одного класса сделанные под разным углом.
А
Б
Рис. 2 Пример эффективности цензурирования цветов на серии медицинских изображений УЗИ — в качестве объекта поиска (мишени или шаблона) здесь выступает изображение гемангиомы печени полученное на конвексном датчике Medison SonoAce R7, а в качестве области для поиска объекта выступает изображение гемангиомы почки полученное на линейном датчике Esaote MyLab 70 в режиме трапециевидного сканирования.
А — без цензуры(Target), Б — с цензурой(Filtered Target).
А
Б
Рис. 3 Пример эффективности цензурирования цветов на серии медицинских изображений УЗИ — в качестве объекта поиска (мишени или шаблона) здесь выступает изображение гемангиомы почки полученное на линейном датчике Medison SonoAce R7 в режиме трапециевидного сканирования, а в качестве области для поиска объекта выступает изображение другой гемангиомы почки полученное на линейном датчике Esaote MyLab 70 в режиме трапециевидного сканирования.
А — без цензуры(Target), Б — с цензурой(Filtered Target).
На рисунках 2Б и 3Б наблюдается сокращение числа и размера «шумовых» областей интереса (ROI), благодаря удалению из поиска фона, который составлял на рис. 2 до 50%, а на рис. 3 до 18% от изображения-мишени. Очевидна меньшая разница между изображениями рис. 3, т. к. мишень на рисунке 3 была прямоугольной формы, что позволило и без цензурирования цветов получить неплохое соотношение объект/фон.
Тот же эффект можно наблюдать и на серии изображений с кораблями.
А
Б
В
Г
Д
Е
Рис.4 Пример эффективности цензурирования цветов на серии изображений с кораблями. Это изображения разных кораблей, т. е. шаблон одного корабля найден на изображении с другим кораблем: Б и В - сходного класса(размера), Г и Д — другого класса(меньшего размера), Е — другого класса наоборот(т.е. корабль-шаблон меньше, чем обнаруженный корабль).
А — без цензуры(Target), Б, В, Г, Д и Е — с цензурой(Filtered Target).
К уже изложенной аннотации к рис. 4 Г, Д, Е необходимо добавить, что несмотря на то, что изначально в алгоритме была заложена опция масштабирования шаблона(изображения-мишени) для подгонки его под объект на изображении-карте, но в связи с техническими ограничениями мощности имеющегося оборудования эта опция не была задействована ни в первой работе, ни в настоящей! Т.е. Даже без масштабирования шаблона данный алгоритм способен распознавать сходные объекты иного размера, как большего, так и меньшего. Т.е. данный алгоритм проявляет свойство масштабонезависимости. Эту же тенденцию можно заметить и на рис. 3, где объект на шаблоне(гемангиома) явно крупнее объекта(другой гемангиомы) на «карте».
Кроме того, производилась оценка возможности поиска конкретного объекта (мишени, самолета, корабля) на карте с несколькими подобными объектами.
А
Б
Рис. 5. Пример обнаружения объекта-мишени(шаблона) на карте с несколькими подобными объектами.
А — серия с кораблями, цель захвачена; Б — серия с самолетами, цель захвачена.
3D Vector analysis of digital images for computer vision
Y.Kolesnichenko, MD, Sonologist, www.uzgraph.ru.
Keywords: computer vision, computer aided detection.
Abstract
This article presents the continuation of work with the vector analysis algorithm. In this paper, in contrast to the previous one, there is an analysis of images not only of diagnostic ultrasound but also from the satellite Google map(planes and ships).
Also in this article discuss a new option of the algorithm - color censoring.
Which significantly increases the probability of finding a target on the map, including on a map with several similar targets.
The new algorithm showed a scale-independent property without using the image scaling option.