Moscow Python Meetup №104. CI/CD Pytest для тестирования качества данных здравоохр. в Великобритании

Артур Зиннуров (Software Engineer, Swansea University).
Какая была проблема в интеграции Pytest для проверки качества кода и медицинских данных в университете. Почему мы решили автоматизировать такой процесс, решая проблему конфиденциальности. Практический пример работы этой системы

Видео: https://moscowpython.ru/meetup/104/ci-cd-for-british-healthcare/

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

1. CI/CD Pytest для тестирования качества данны х здравоохранения в Великобритании Артур Зиннуров -Swansea University Прагматический обзор фреймворков непрерывного тестирования для платформ медицинских данных, ориентированный на интеграцию с конвейерами CI/CD для обеспечения надежности и соответствия требованиям.
2. Артур Зиннуров Swansea University - SeRP • Django Fullstack-разработчик • Data scientist • Работа с медицинскими организациями и университетами для разработки веб- приложений
3. Наш проект - Concept Library Зачем это нужно? • Помогает стандартизировать определения медицинских состояний • Позволяет получать статистику заболеваний • Часть совместной работы по созданию TRE(Trusted Reserach Enviroment) • Необходим для последовательных исследований в разных учреждениях • Создание Open source платформы Наша платформа содержит около 300 тысяч медицинских кодовых списков, которые помогают исследователям проводить медицинские исследования по всей Великобритании.
4. Что такое данные о здоровье в Великобритании? Данные о здоровье в Великобритании часто включают стандартизированные коды для диагнозов и процедур. Одним из распространенных стандартов является Международная классификация болезней, (ICD-10). Категория Первый символ, буква от A до Z, обозначает главу или основную категорию диагноза или процедуры. Например S - Повреждения отдельны х областей тела (раны, переломы, вывихи) Этиология, анатомическая локализация, тяжесть Следующие две цифры определяют причину, локализацию или тяжесть состояния. Например 86 - где 8 это нижняя часть тела, а 6 конкретизация: мышцы и сухожилия голени Разделитель подкатегорий Десятичная точка отделяет категорию от более конкретных деталей. Конкретное заболевание, клиническая картина или локализация До трех цифр после десятичной точки предоставляют дополнительные сведения о конкретном заболевании, клинической картине или локализации.
5. Пример кода - S86 - ICD10
6. Наш проект - Concept Library
7. Наш проект - Concept Library
8. В чем проблема? • Бюрократия при получении одобрения кодового списка • Ошибки со стороны аналитиков при внесения кода • Соответствие нормативным требованиям (GDPR, безопасность данных NHS) • Высокий риск раскрытия конфиденциальной информации • Общее пренебрежение тестированием PR перед выпуском
9. Решения? 1. Комплексное покрытие тестами всех путей передачи данных 2. Автоматизированное Unit/Functional testing 3. Использование синтетических данных, чтобы избежать длительного времени утверждения файлов
10. Синтетические данные Синтетические данные в здравоохранении — это искусственные данные о пациентах без информации о пациентах, которые содержат только анонимизированную информацию из медицинских записей. Типы синтетических данных: • Low-fidelity — идеально подходит для создания представления о том, как данные будут структуированы в качестве основы • High-Fidelity— будет иметь взаимосвязь между закономерностями каждого набора данных.
11. Текущая инфраструктура Текущий стек: • R • Trino • Sqlalchemy • Python • Pandas • Numpy
12. Решение - CI/CD pipeline CI/CD Pipeline stack: • PostgresSQL • GithubActions • Selenium • Allure • Pytest • Act • Python
13. Результаты
14. До После
15. Выводы 1. Понимание правил управления, специфичных для тестирования программного обеспечения для здравоохранения Великобритании. 2. Каковы другие границы тестирования медицинского программного обеспечения в других странах или организациях? 3. Какие еще существуют передовые методы внедрения среды тестирования в такой области, как здравоохранение, и понимание важности этого? 4. Юридические аспекты использования синтетических данных
16. Спасибо за внимание : )