Low code platform: границы применимости при создании аналитических решений

Вадим Гейнц, архитектор, руководитель группы инженерии данных, Neoflex

Transcript

1. ПРИМЕНЕНИЕ LOW-CODE В АНАЛИТИЧЕСКИХ ПЛАТФОРМАХ Вадим Гейнц Руководитель группы инженерии данных бизнес-направления Big Data Solutions ©2020 «Неофлекс». Все права защищены 1
2. DATA PLATFORM CONCEPT DATA PLATFORM DATA SECURITY DATA ARCHITECTURE DATA DEVELOPMENT DATA OPERATIONS DATA QUALITY DWH & BI REFERENCE & MASTER DATA DOCUMENT & CONTENT METADATA DATA GOVERNANCE ©2020 «Неофлекс». Все права защищены 2
3. ©2020 «Неофлекс». Все права защищены 3 • Скорость проведения анализа • Возможность проведения экспериментов • Отслеживание изменений • Data proveance, Data lineage, CDC • Time to market • TCO DATA PLATFORM Некоторые вопросы, Возникающие при построении платформ данных
4. ©2020 «Неофлекс». Все права защищены 4 ПРЕДПОСЫЛКИ ИСПОЛЬЗОВАНИЯ LOW-CODE Некоторые катализаторы: • Разрастание time to market • Стоимость масштабирования • Дефицит экспертизы • Увеличение числа данных • Усложнение бизнеса
5. 5 Сколько людей смотрят каналы и программы? В какое время смотрят телевизор? Каков соц-дем портрет телезрителей? Где лучше разместить рекламу бренда? АУДИТОРНЫЕ ДАННЫЕ ©2020 «Неофлекс». Все права защищены ПРИМЕР ПРОЕКТА С LOW CODE
6. LOW CODE ДЛЯ ГЕНЕРАЦИИ ТРАНСФОРМАЦИЙ ©2020 Неофлекс. Все права защищены 6
7. ©2020 Неофлекс. Все права защищены 7 Автоматическая загрузка данных 1 в 1 Полный цикл разработки: от визуального дизайна до мониторинга Интеграция с библиотеками машинного обучения и языками Python, R Коннекторы к любым источникам SQL и визуальные трансформаций vs Scala/Java Low code для генерации «Spark-трансформаций»
8. ПОТОК ДОСТАВКИ ДАННЫХ 8 Поставщики данных Каналы поступления Платформа BigData Аналитические приложения Потребители данных Внешние источники Внутренние источники Сбор данных Подготовка и обогащение данных Аналитические данные Интегрированные данные Первичные данные Отчеты, выгрузка, публикация BI-аналитика Исследование и моделирование Внешние потребители Внутренние потребители Процесс поставки данных потребителям ПОСТАВЩИКИ ДАННЫХ КАНАЛЫ ПОСТУПЛЕНИЯ ПЛАТФОРМА BIGDATA АНАЛИТИЧЕСКИЕ ПРИЛОЖЕНИЯ ПОТРЕБИТЕЛИ ДАННЫХ ©2020 «Неофлекс». Все права защищены
9. НАПОЛНЕНИЕ STAGING 9 ©2020 «Неофлекс». Все права защищены
10. КОМПОНЕНТНАЯ СХЕМА 10
11. УПРАВЛЕНИЕ ПОТОКОМ РАСЧЁТА Metadata Server Run,monitor Deploy, Schedule, monitor Read,write PostgreSQL Runtime Environment Livy Oozie HDFS Spark/ Yarn File System execute execute Read write persist Import export External Consumer REST External Systems JDBC SVN Checkin checkout Web UI ©2020 «Неофлекс». Все права защищены 15
12. УПРАВЛЕНИЕ ПОТОКОМ РАСЧЁТА ©2020 Неофлекс. Все права защищены 12
13. 13 ВАЛИДАЦИЯ ДАННЫХ: • Ошибки аппаратуры • Нерегистрируемое смотрение • Нулевое смотрение • Двойное смотрение ВАЛИДАЦИЯ АГРЕГИРОВАНИЕ ВЗВЕШИВАНИЕ ЭКСТРАПОЛЯЦИЯ РАСЧЁТ ВИТРИН
14. LOW-CODE & DATA GOVERNANCE ©2020 «Неофлекс». Все права защищены 14
15. ©2020 «Неофлекс». Все права защищены 13 АВТОМАТИЗИРОВАННЫЕ ПРОВЕРКИ Проверки метаданных генерируются автоматически при изменении модели. Проверки доступности данных генерируются на основе справочников, хранящих ожидаемый тайминг появления порции данных. Бизнес-проверки достоверности данных создаются в notebook`ах Zeppelin. Откуда прямиком направляются в на продукционное окружение. Low-code & Data Quality
16. Low code & BI (NR STUDIO)
17. ВОПРОС ВЫБОРА Стоимость конечного решения Скорость разработки Низкий порог вхождения Кадровый вопрос Концентрация на бизнес смысле Стоимость low code инструмента Слабовыраженные стандарты Работа с версионированием Зависимость от вендора Вопросы к безопасности ©2020 «Неофлекс». Все права защищены 16
18. Спасибо! +7 (987) 331-11-00 vgejnc@neoflex.ru www.neoflex.ru Вадим Гейнц Руководитель группы инженерии данных Big Data Solutions ©2020 «Неофлекс». Все права защищены 17