Share
Embed
OpenTalks.AI - Алексей Чернявский, Нейросетевые алгоритмы для повышения качества медицинских изображений
OpenTalks.AI
February 04, 2021
Transcript
11 slides
-
Philips Innovation Labs, Сколково Алексей Чернявский к.т.н., старший научный сотрудник
4 февраля 2021 Нейросетевые алгоритмы для повышения качества медицинских изображений -
Проблема шума в компьютерной томографии Необходимость снижения дозы излучения Шум
на проекциях (photon starvation) Артефакты в реконструированных объёмах 2 Пропуски (sparse views) Снижение интенсивности Металлические импланты Движение пациента Малое количество проекций J.F. Barrett, N. Keat, Artifacts in CT: Recognition and Avoidance, Radiographics, 2004 -
Обработка реконструкций или же проекций? Обработка КТ-реконструкций (срезов) – известная
задача • эти данные хранятся в PACS • на них смотрят врачи при принятии решений Преимущества работы с проекциями • алгоритмы реконструкции сами привносят артефакты • проекций гораздо больше чем срезов (15К+ по сравнению с <1000) • проекции – самые «сырые» данные, которые только можно получить • легче удалить яркие выбросы в проекциях («битые пиксели», металл), чем потом иметь дело с полосами (streaks) в реконструкциях К проекциям трудно получить доступ кому-либо, кроме вендоров • хотя уже существует специальный формат DICOM-CT-PD • в 2020 был выпущен публичный набор данных для экспериментов с алгоритмами Low Dose CT Image and Projection Data 3 B. Chen et al., Technical note: development and validation of an open data format for CT projection data, 2016 C.H. McCollough et al., Data from low dose CT image and projection data, 2020 -
Примеры шума на КТ-проекциях 4 низкая доза, LD: 25% от
высокой высокая доза, HD -
Удаление шума при обучении с учителем (supervised) 5 DnCNN –
одна из самых популярных архитектур для удаления шума • много слоёв, реализующих свёртки с ядрами маленького размера (3х3) • обучаем сеть выдавать не итоговую чистую картинку, а разность (residual) • для обучения нужно много пар «шумных/чистых» изображений • используются 2D и 2.5D подходы (несколько соседних изображений подаются на вход сети как отдельные каналы) • функция потерь – обычно L2 или L1; PSNR и SSIM для оценки качества K. Zhang et al., Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising, 2016 -
Удаление шума при обучении с учителем 6 До недавнего времени
DnCNN была наиболее популярной нейросетью Другие архитектуры (ResNet, DenseNet, U-net-подобные) не прижились Какая-либо информация о домене обычно мало используется Но DnCNN действительно работает: LD CNN HD LD-HD CNN-HD -
Самостоятельное обучение (self-supervised learning) 7 Недостаток обучения с учителем –
нужен большой набор пар изображений LD и HD Обычно такие пары получить нереально и нужно прибегать к симуляции шума Если пар LD-HD нет, нужно прибегать к самостоятельному обучению • давно известная тема – BM3D, non-local means • переосмыслена в 2018 и позже – Noise2Noise, Noise2Void, и т.д. Идея Noise2Void-подхода – предсказание центрального пикселя по его окрестности Обычная CNN CNN со слепым пятном Noise2Void A. Krull, T.-O. Buchholz, F. Jug, Noise2Void - learning denoising from single noisy images, 2018 -
Самостоятельное обучение (self-supervised learning) 8 Идея Noise2Noise может быть развита,
если учесть, что последовательно идущие КТ-проекции содержат схожую анатомическую информацию E. Zainulina, A. Chernyavskiy, D. Dylov, No-reference denoising of low-dose CT projections, ISBI, 2021 -
Удаление шума на проекциях – эффект на реконструкциях 9 LD
LD HD our E. Zainulina, A. Chernyavskiy, D. Dylov, No-reference denoising of low-dose CT projections, ISBI, 2021 HD our -
Заключение Обобщающая способность алгоритмов обучения • Адаптация к домену –
перенос нейросети, обученной на одних данных, на другие (другие модели приборов, протоколы и пр.) • Адаптация к шуму – нейросеть должна по-прежнему хорошо работать на новом уровне шума • Работа со сверхнизкими уровнями излучения • Удаление шума на спектральных КТ-снимках Повышение вычислительной эффективности • Обработка 20 тысяч проекций занимает много времени • Клиники вряд ли хотят отправлять данные в облако • Сжатие обученных нейросетей (квантизация, тензорные разложения) • Поиск оптимальных архитектур (AutoML) Разработка метрик качества*, адекватных нуждам конечного пользователя • Perceptual similarity metric для радиологов • Не страшно, если изображение шумное, гораздо страшнее потерять при обработке анатомию (или придумать несуществующую) – применять GANы с осторожностью • Интеграция удаления шума в проекциях и томографической реконструкции в один нейросетевой граф Актуальные задачи повышения качества изображений в КТ 10 * S. Kastryulin et al., PyTorch image quality, 2020, GitHub -
Спасибо за внимание! [email protected] Глобальная страница Philips Research Страница публикаций
российской лаборатории на Google Scholar Следите за объявлениями о наших семинарах в ODS Slack, канал _meetings