OpenTalks.AI - Алексей Чернявский, Нейросетевые алгоритмы для повышения качества медицинских изображений

Transcript

1. Philips Innovation Labs, Сколково Алексей Чернявский к.т.н., старший научный сотрудник 4 февраля 2021 Нейросетевые алгоритмы для повышения качества медицинских изображений
2. Проблема шума в компьютерной томографии Необходимость снижения дозы излучения Шум на проекциях (photon starvation) Артефакты в реконструированных объёмах 2 Пропуски (sparse views) Снижение интенсивности Металлические импланты Движение пациента Малое количество проекций J.F. Barrett, N. Keat, Artifacts in CT: Recognition and Avoidance, Radiographics, 2004
3. Обработка реконструкций или же проекций? Обработка КТ-реконструкций (срезов) – известная задача • эти данные хранятся в PACS • на них смотрят врачи при принятии решений Преимущества работы с проекциями • алгоритмы реконструкции сами привносят артефакты • проекций гораздо больше чем срезов (15К+ по сравнению с <1000) • проекции – самые «сырые» данные, которые только можно получить • легче удалить яркие выбросы в проекциях («битые пиксели», металл), чем потом иметь дело с полосами (streaks) в реконструкциях К проекциям трудно получить доступ кому-либо, кроме вендоров • хотя уже существует специальный формат DICOM-CT-PD • в 2020 был выпущен публичный набор данных для экспериментов с алгоритмами Low Dose CT Image and Projection Data 3 B. Chen et al., Technical note: development and validation of an open data format for CT projection data, 2016 C.H. McCollough et al., Data from low dose CT image and projection data, 2020
4. Примеры шума на КТ-проекциях 4 низкая доза, LD: 25% от высокой высокая доза, HD
5. Удаление шума при обучении с учителем (supervised) 5 DnCNN – одна из самых популярных архитектур для удаления шума • много слоёв, реализующих свёртки с ядрами маленького размера (3х3) • обучаем сеть выдавать не итоговую чистую картинку, а разность (residual) • для обучения нужно много пар «шумных/чистых» изображений • используются 2D и 2.5D подходы (несколько соседних изображений подаются на вход сети как отдельные каналы) • функция потерь – обычно L2 или L1; PSNR и SSIM для оценки качества K. Zhang et al., Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising, 2016
6. Удаление шума при обучении с учителем 6 До недавнего времени DnCNN была наиболее популярной нейросетью Другие архитектуры (ResNet, DenseNet, U-net-подобные) не прижились Какая-либо информация о домене обычно мало используется Но DnCNN действительно работает: LD CNN HD LD-HD CNN-HD
7. Самостоятельное обучение (self-supervised learning) 7 Недостаток обучения с учителем – нужен большой набор пар изображений LD и HD Обычно такие пары получить нереально и нужно прибегать к симуляции шума Если пар LD-HD нет, нужно прибегать к самостоятельному обучению • давно известная тема – BM3D, non-local means • переосмыслена в 2018 и позже – Noise2Noise, Noise2Void, и т.д. Идея Noise2Void-подхода – предсказание центрального пикселя по его окрестности Обычная CNN CNN со слепым пятном Noise2Void A. Krull, T.-O. Buchholz, F. Jug, Noise2Void - learning denoising from single noisy images, 2018
8. Самостоятельное обучение (self-supervised learning) 8 Идея Noise2Noise может быть развита, если учесть, что последовательно идущие КТ-проекции содержат схожую анатомическую информацию E. Zainulina, A. Chernyavskiy, D. Dylov, No-reference denoising of low-dose CT projections, ISBI, 2021
9. Удаление шума на проекциях – эффект на реконструкциях 9 LD LD HD our E. Zainulina, A. Chernyavskiy, D. Dylov, No-reference denoising of low-dose CT projections, ISBI, 2021 HD our
10. Заключение Обобщающая способность алгоритмов обучения • Адаптация к домену – перенос нейросети, обученной на одних данных, на другие (другие модели приборов, протоколы и пр.) • Адаптация к шуму – нейросеть должна по-прежнему хорошо работать на новом уровне шума • Работа со сверхнизкими уровнями излучения • Удаление шума на спектральных КТ-снимках Повышение вычислительной эффективности • Обработка 20 тысяч проекций занимает много времени • Клиники вряд ли хотят отправлять данные в облако • Сжатие обученных нейросетей (квантизация, тензорные разложения) • Поиск оптимальных архитектур (AutoML) Разработка метрик качества*, адекватных нуждам конечного пользователя • Perceptual similarity metric для радиологов • Не страшно, если изображение шумное, гораздо страшнее потерять при обработке анатомию (или придумать несуществующую) – применять GANы с осторожностью • Интеграция удаления шума в проекциях и томографической реконструкции в один нейросетевой граф Актуальные задачи повышения качества изображений в КТ 10 * S. Kastryulin et al., PyTorch image quality, 2020, GitHub
11. Спасибо за внимание! alexey.chernyavskiy@philips.com Глобальная страница Philips Research Страница публикаций российской лаборатории на Google Scholar Следите за объявлениями о наших семинарах в ODS Slack, канал _meetings