Построение системы контроля качества на производстве на основе CV

Андрей Гаврилица, архитектор данных, Северсталь диджитал

Transcript

1. Построение системы контроля качества на производстве на основе cv 17.09.2020 Гаврилица Андрей
2. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. О чем пойдет речь 2 Что такое cv и возможности применения технологии в промышленности 01 02 Пример задачи решаемой в Северстали и ее постановка: • Что на входе • Что на выходе 03 Общая архитектура Data Lake 04 Архитектура решения VERA 05 06 На что в решении следует обратить внимание Результаты
3. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. 3 Основные области применения cv в промышленности • Детекция брака • Контроль качества (вводим некоторую метрику оценки и определяем ее для всех “объектов”) • Мониторинг соблюдения промышленной безопасности (присутствие/отсутствие каски/маски, определения физического состояния работника (температура, усталость)) • Автопилот (например, БелАЗ)
4. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. 4 Постановка задач, проект VERA Система видеоинспекции на одном из цехов • Порядка 10 камер • размер снимка 128 х 1936 pix • разрешение 0,25 мм/pix • порядка 10 000 снимков на рулон Задача • Улучшить точность классификации дефектов на металле • Задержка между окончанием прокатки рулона и получением последнего предикта не должна превышать n минут
5. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. Общая архитектура DL Северстали 5
6. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. Архитектура решения VERA 6
7. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. 7 Примеры дефектов, которые ищем Трещина Механическое повреждение Раковина Плена
8. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. Пользовательский интерфейс 8 UI Содержит в себе информацию о том, какие дефекты были обнаружены на каждом из рулонов. Пользователь может задавать правила фильтрации и также смотреть непосредственно на изображения где есть дефекты. Проблемная зона выделяется контуром.
9. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. На что стоит обратить внимание 9 • Конкретно в этом проекте фото собираем не напрямую с камер. • Картинки (не метаинформация о нахождении картинок) идут непосредственно в кафку • Модель пишут дата саентисты (python), не используется стороннее решение • Все самописные приложения, кроме модели, постпроцессора выходных данных модели и фронта написаны на java • Предикты не содержат в себе фото, только айдишники, локацию дефектов и их типы • Во время отображения картинок в UI делаются запросы к двум бекендам, которые ходят в разные “хранилища”: за картинками и за локациями дефектов на этих картинках
10. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. Характеристики пайплайна решения 10 • Лаг между генерацией картинок камерой и их появлением в кафке – порядка 3 секунд • Порядка 40-50 сообщений в секунду во входном кафка топике • В решении используется 5 кафка топиков • Картинки во входном потоке сжимаются tiff -> jpeg, итоговый вес сообщения во входном кафка топике порядка 13 кб • 7 мест хранения данных • 2 готовых приложения, 5 самописных
11. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. Результаты 11 • Финальный latency (от момента генерации фото , до момента отображения информации на фронте) не превышает пол минуты • Результаты работы нашей модели выше чем у системы видеоинспекции. В терминах precision / recall по некоторым типам дефектов точность выше в 5 раз.
12. Любое несанкционированное копирование, раскрытие или распространение материалов, содержащихся в данном документе (или приложениях к нему), строго запрещено. Финал 12 Спасибо за внимание