Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Скворцов Григорий. Платформа полного цикла по созданию и управлению AI/ML моделями

Скворцов Григорий. Платформа полного цикла по созданию и управлению AI/ML моделями

С 5 по 9 июля мы приглашаем вас принять участие в Летней школе по финансовым технологиям, организуемой Лабораторией финансовых технологий Инженерной школы информационных технологий и робототехники Томского политехнического университета (ИШИТР ТПУ). Программа мероприятия включает серию онлайн-лекций преподавателей ТПУ и приглашенных специалистов в сфере современных информационных финансовых технологий.

Чтобы не пропустить остальные трансляции, рекомендуем пройти регистрацию на сайте школы https://itr-tpu.timepad.ru/event/1629832/

---
Подписывайтесь на Exactpro в социальных сетях:

LinkedIn https://www.linkedin.com/company/exactpro-systems-llc
Twitter https://twitter.com/exactpro
Facebook https://www.facebook.com/exactpro/
Instagram https://www.instagram.com/exactpro/

Подписывайтесь на YouTube канал Exactpro http://www.youtube.com/c/ExactproVlog

5206c19df417b8876825b5561344c1a0?s=128

Exactpro
PRO

July 06, 2021
Tweet

Transcript

  1. ПЛАТФОРМА ПОЛНОГО ЦИКЛА ПО СОЗДАНИЮ И УПРАВЛЕНИЮ ML МОДЕЛЯМИ SBER

    DS Скворцов Григорий ПАО Сбербанк gdskvortsov@sberbank.ru t.me/skvortsovg
  2. 2

  3. LowCode/NoCode-системы - Экономия на оплате труда вендор а - Сокращение

    технического разрыв а - Удобный интерфейс, позволяющими быстро создавать приложения методом drag-and-dro p - Автоматизация процедур внедрени я - Создание команд для совместной работы над проекто м 3
  4. Конструкторы сайто в 4 Разработка Chatbot s BPM-систем ы

  5. ОСНОВНЫЕ НАПРАВЛЕНИЯ РАЗВИТИЯ ПЛАТФОРМЫ SBERDS ПОДГОТОВКА ДАННЫХ ВИЗУАЛЬНАЯ АНАЛИТИКА ДАННЫХ

    РАЗРАБОТКА МОДЕЛИ ВАЛИДАЦИЯ МОДЕЛИ ИСПОЛНЕНИЕ МОДЕЛИ МОНИТОРИНГ МОДЕЛИ КОМЬЮНИТИ БАЗА AI АЛГОРИТМОВ УПРАВЛЕНИЕ ЖИЗНЕННЫМ ЦИКЛОМ Разработка витрин данных для моделирования Визуальный анализ данных Создание workflow модели Применение workflow валидационных методик Запуск моделей по расписанию Регулярная проверка качества моделей Создание базы алгоритмов Единый инструмент управления процессом разработки
  6. Компетенции D S - Математик а - Статистик а -

    Разработка моделе й - Валидация модел и - Мониторинг модели 6 Компетенции Data и ML инженеро в - Подготовка данны х - Трансформация больших данны х - Подготовка промышленной модел и - Вывод модели в ПРО М Business- компетенци и - Знание предметной област и - Эффективные коммуникаци и - Бизнес-анализ Основные компетенции DS-команды
  7. ОСНОВНЫЕ КОМПОНЕНТЫ ПЛАТФОРМЫ SBERDS

  8. SBERDS ПЛАТФОРМА ДЛЯ ВСЕХ DS PROFI 1 2 3 DS

    BEGINNERS BUSINESS USER И с п о л ь з о в а н и е п л а т ф о р м ы к а к р е к о м е н д а т е л ь н о й с и с т е м ы з а р а н е е разработанных workflow гарантирующих качество решения Типовые задачи решаются на основе переиспользования библиотеки алгоритмов DS создают science - решают нестандартные задачи, пополняя библиотеку алгоритмов New User Method Feature Generation.py CUSTOM CODE CUSTOM NODE WORKFLOW Бинарная классификация Проверка качества модели Задача регресии РЕКОМЕНДАТЕЛЬНЫЕ СИСТЕМЫ DS МОДЕЛЕЙ
  9. СТОИМОСТЬ ПРОЦЕССА РАЗРАБОТКИ И ВНЕДРЕНИЯ МОДЕЛИ ПРОДУКТ ВИЖЕН SBERDS

  10. СТОИМОСТЬ ПРОЦЕССА РАЗРАБОТКИ И ВНЕДРЕНИЯ МОДЕЛИ СТОИМОСТЬ ПРОЦЕССА РАЗРАБОТКИТ И

    ВНЕДРЕНИЯ МОДЕЛИ ВАРИАНТ РЕАЛИЗАЦИИ ПРОЦЕССА Максимальное время Максимальная стоимость Минимальное время Минимальная стоимость Среднее время Средняя стоимость Все задачи, включая типовые, решают DS Ручная валидация и мониторинг модели Типовые модели – разработка с «нуля» на языке программирования. Ручной перенос модели в систему исполнения с перекодированием DS создают science - решают нестандартные задачи, пополняя библиотеку алгоритмов Автовалидация и Автомониторинг с использованием заранее разработанных методик Автоматический перенос модели в систему исполнения без перекодирования – модельный DevOps Переиспользование библиотеки алгоритмов для решения типовых задач Автовалидация с использованием заранее разработанных методик Все задачи, включая типовые решают DS Ручной перенос модели в систему исполнения с перекодированием Типовые задачи решают инженеры, переиспользуя библиотеку алгоритмов частично 100% потенциала SBER>DS не используется SBERDS SBERDS
  11. КОНЦЕПТУАЛЬНАЯ АРХИТЕКТУРА РЕШЕНИЯ SBERDS HDFS – хранилище промежуточных результатов вычислений

    УНИВЕРСАЛЬНЫЙ API УНИВЕРСАЛЬНЫЙ API ПОДГОТОВКА ДАННЫХ РАЗРАБОТКА МОДЕЛИ WORKFLOW SBER>DS ВАЛИДАЦИЯ МОДЕЛИ ИСПОЛНЕНИЕ МОНИТОРИНГ ИСТОЧНИКИ ДАННЫХ SPARK SCALA PY/ R DOCKER HADOOP GPU SBERDS ПИМ MEF API AUTO USER Создание витрин Предобработка данных Feature engineering Библиотека методов Auto ml Кристофари Рекомендации Первичная валидация Периодическая валидация Встроенные методики Библиотека проверок Отчетность о результатах Расписание запуска МАСТЕР ИМПОРТА Мастер экспорта ОБЛАЧНЫЕ БД РЕЛЯЦИОННЫЕ БД KAFKA ФАЙЛЫ ДАННЫХ Интеграция с Библиотекой моделей ЛАБОРАТОРИЯ ДАННЫХ ОБЛАКО ДАННЫХ Ролевая модель доступа пользовательские роли аудитор дата инженер редактор жцм мониторщик валидатор разработчик Варианты доступа к SBER>DS варианты локализации ON CLOUD ON PREMISE ML ML ML ML единая аутентификация помощники мониторинг библиотека
  12. SBERDS В СРАВНЕНИИ С КОНКУРЕНТАМИ Расширяемость функционала пользователем Интегрируемость в

    ландшафт предприятия Все представленные на рынке решения обладают сопоставимым функционалом моделирования 1 Открытая платформа SberDS предоставляет максимум возможностей среди существующих решений по интеграции и расширению функционала пользователем 3 Отличия заключаются в : • Потенциале расширения пользовательского функционала; • Степенью интеграции в текущий ландшафт компании; • Возможности переиспользования сущестфующих в компании инструментов и сервисов. 2 SBERDS
  13. КЛЮЧЕВЫЕ ПРЕИМУЩЕСТВА SBERDS

  14. 14 Контакты