Направления разработки в Python

Доклад читался для Juniors на https://community-z.com/events/tech-talk-for-juniors

Transcript

1. Направления разработки в Python CONFIDENTIAL | © 2021 EPAM Systems, Inc.
2. CONFIDENTIAL | © 2021 EPAM Systems, Inc. • Последние 5 лет пишу код на Python (Data Engineering, Different Backends & Tooling) • Всего опыт работы в ИТ более 13 лет • В свободное время люблю опенсорс, делаю пет-проекты https://github.com/xnuinside ЮЛ И Я В ОЛ КО В А LEAD SOFTWARE ENGINEER 2
3. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Агенда 3 1. O Python – рейтинги, компании 2. Несколько тезисов о языке 3. Какие вообще бывают области применения? 4. Роли со знанием Python и чем они занимаются - Что такое Backend разработка - Кто такой просто Python developer и чем он может заниматься - Чем занимается Дата Инженер - Где пересекаются ML Engineer и Data Science Specialist 5. Просуммируем какие знания нужны в той или иной специальности
4. CONFIDENTIAL | © 2021 EPAM Systems, Inc. О PYTHON 4
5. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Link to page with rating PYPL PopularitY of Programming Language - April 2021 5
6. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Link to page with rating RedMonk - 2020 6
7. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Link to page with rating TIOBE Index for March 2021 The ratings are based on the number of skilled engineers world-wide, courses and third party vendors. Popular search engines such as Google, Bing, Yahoo!, Wikipedia, Amazon, YouTube and Baidu are used to calculate the ratings. 7
8. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Sponsors And others https://www.python.org/psf/spons orship/sponsors/ 8
9. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Немного о Python Н И З К И Й П О Р О Г В Х О Д А О Т С У Т С Т В И Е О Г Р А Н И Ч Е Н И Й В О Б Л А С Т И П Р И М Е Н И М О С Т И Я З Ы К А Д И Н А М И Ч Е С К И Й Я З Ы К П Р О Г Р А М М И Р О В А Н И Я 9
10. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Немного о Python Н И З К И Й П О Р О Г В Х О Д А О Т С У Т С Т В И Е О Г Р А Н И Ч Е Н И Й В О Б Л А С Т И П Р И М Е Н И М О С Т И Я З Ы К А Д И Н А М И Ч Е С К И Й Я З Ы К П Р О Г Р А М М И Р О В А Н И Я О Г Р О М Н О Е К О М М Ь Ю Н И Т И С Т А Б И Л Ь Н О С Т Ь , Р Е Г У Л Я Р Н Ы Й Р Е Л И З Н Ы Й Ц И К Л В О С Т Р Е Б О В А Н Н О С Т Ь Н А Р Ы Н К Е 10
11. CONFIDENTIAL | © 2021 EPAM Systems, Inc. ОБЛАСТЬ РАБОТЫ 11
12. 12 Инструменты для разработки 12
13. 13 Бизнес-логика (Backend Services) Инструменты для разработки 13
14. 14 Бизнес-логика (Backend Services) Инструменты для разработки 14
15. 15 Данные Бизнес-логика (Backend Services) Инструменты для разработки 15
16. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Агенда 16 1. O Python – рейтинги, компании 2. Несколько тезисов о языке 3. Какие вообще бывают области применения? 4. Роли со знанием Python и чем они занимаются - Что такое Backend разработка - Кто такой просто Python developer и чем он может заниматься - Чем занимается Дата Инженер - Где пересекаются ML Engineer и Data Science Specialist 5. Просуммируем какие знания нужны в той или иной специальности
17. CONFIDENTIAL | © 2021 EPAM Systems, Inc. РОЛИ С PYTHON ИЛИ КОГО ИЩУТ СО ЗНАНИЕМ PYTHON 17
18. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Роли с Python 18 - Backend Developer - Python Developer - Data Engineer - Data Science Specialist - ML Engineer
19. 19 Backend Developer Backend серверы (сервисы)
20. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 20 Backend Сервисы
21. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 21 Backend Сервисы
22. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 22 Сервер (сервис) Backend – Front-end Backend – Backend
23. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Сервер (сервис) Сервер Клиенты 23
24. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 24 Протоколы и фреймворки (примеры) Server Side Rendering / REST /Websockets
25. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 25 Протоколы и фреймворки (примеры) Server Side Rendering / REST /Websockets sync
26. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 26 Протоколы и фреймворки (примеры) Server Side Rendering / REST /Websockets sync async aiohttp
27. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 27 Протоколы и фреймворки (примеры) GraphQL sync async
28. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 28 Сервер (сервис) Server – Client Backend – Database
29. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 29 Сервер (сервис) Server – Client Backend – Database Backend – Backend
30. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 30 Примеры технологий Backend – Database Backend – Queue Backend - Storage
31. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Различные Python библиотеки 31 sync ORM Databases
32. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Различные Python библиотеки (примеры) 32 sync ORM async ORM Databases
33. 33 Backend Developer Python Developer Backend серверы (сервисы) Библиотеки, тулинг, QA-фреймворки, desktop app и все остальное
34. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 34 Все что не классический Backend + инструменты для разработки
35. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 35 Все что не классический Backend + инструменты для разработки
36. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 36 Все что не классический Backend + инструменты для разработки
37. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 37 Все что не классический Backend + инструменты для разработки
38. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 38 И более экзотические вещи https://www.youtube.com/watch?v=eXFGeZZbMzQ
39. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Роли с Python 39 - Backend Developer - Python Developer - Data Engineer - Data Science Specialist - ML Engineer
40. 40 Backend Developer Python Developer Data Engineer Backend серверы (сервисы) Библиотеки, тулинг, QA-фреймворки, desktop app и все остальное Дата Пайплайны
41. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 41 Data Engineer Pipelines Development Data Transformations
42. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 42 { "Records": [ { "messageId": "19dd0b57-b21e-4ac1-bd88-01bbb068cb78", "receiptHandle": "MessageReceiptHandle", "body": "Hello from SQS!", "attributes": { "ApproximateReceiveCount": "1", "SentTimestamp": "1523232000000", "SenderId": "123456789012", "ApproximateFirstReceiveTimestamp": "1523232000001" }, "messageAttributes": {}, "md5OfBody": "7b270e59b47ff90a553787216d55d91d", "eventSource": "aws:sqs", "eventSourceARN": "arn:aws:sqs:us-west- 2:123456789012:MyQueue", "awsRegion": "us-west-2" } ] } Данные и форматы (примеры)
43. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 43 Данные и форматы (примеры)
44. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 44 Данные и форматы (примеры) txt img
45. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Пайплайн – набор шагов, действий © 2020 EPAM Systems, Inc. 45 Возьми таблицу 1 Возьми таблицу 2 Проверь условие Сделай это Запусти трансформацию Сохрани данные 45
46. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 2 основных вида типов обработки данных © 2020 EPAM Systems, Inc. 46 Batch Processing раз в час/ 15 минут/сутки/месяц 46
47. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 2 основных вида типов обработки данных © 2020 EPAM Systems, Inc. 47 Batch Processing Streaming Processing раз в час/ 15 минут/сутки/месяц в режиме реального времени (real-time): Как только событие (запись) появилась - обработали 47
48. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Batch Процессинг 48 Data Lakes Данные Databases 48
49. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Batch Процессинг 49 CONFIDENTIAL | © 2019 EPAM Systems, Inc. © 2020 EPAM Systems, Inc. Data Lakes Данные Data Warehouses Any Custom Actions/ Transformations Databases
50. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Batch Процессинг 50 Data Processing Jobs Data Lakes Данные Data Warehouses Any Custom Actions/ Transformations Databases 50
51. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Batch Процессинг 51 Data Processing Jobs Data Lakes Данные Data Warehouses Output to Any Systems / Custom Services Any Custom Actions/ Transformations Databases 51
52. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Streaming Процессинг 52 52
53. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 53 Библиотеки . Фреймворки (Python) Построение и мониторинг пайплайнов
54. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 54 Библиотеки . Фреймворки (Python) Построение и мониторинг пайплайнов Трансформация данных
55. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 55 Библиотеки . Фреймворки (Python) API ко всем БД, очередям и тд Построение и мониторинг пайплайнов Трансформация данных Интеграция
56. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Инфраструктура 56 облака Data Engineer Backend Services
57. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Инфраструктура 57 облака технологии Linux, ssh, TLS, etc Data Engineer Backend Services
58. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Роли с Python 58 - Backend Developer - Python Developer - Data Engineer - Data Science Specialist - ML Engineer
59. 59 Data Engineer Data Science Specialist Дата Пайплайны Математические модели и прогнозирование
60. 60 Data Engineer Data Science Specialist Data Analyst Дата Пайплайны Математические модели и прогнозирование Отчеты, текущие показатели (больше SQL и Не PYTHON тулинга)
61. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 61 Data Science Specialist Особенности Весь код только в +
62. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 62 Обычная среда разработки
63. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 63 Что такое http://earthpy.org/cartopy_backgroung.html
64. 64 Data Engineer Data Science Specialist ML Engineer Дата Пайплайны Математические модели и прогнозирование Machine Learning в инфраструктуре
65. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 65 Data Science Specialist ML Engineer Технологии Data Science vs ML Engineer
66. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 66 Data Science Specialist ML Engineer Технологии Data Science vs ML Engineer
67. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 67 Data Science Specialist ML Engineer Технологии Data Science vs ML Engineer
68. CONFIDENTIAL | © 2021 EPAM Systems, Inc. 68 Data Science Specialist ML Engineer Технологии Data Science vs ML Engineer
69. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Роли с Python 69 - Backend Developer - Python Developer - Data Engineer - Data Science Specialist - ML Engineer
70. 70 ML Engineer Данные Бизнес-логика (Backend-ы) Backend Developer Python Developer Инструменты для разработки Data Engineer Data Science Specialist 70
71. CONFIDENTIAL | © 2021 EPAM Systems, Inc. ФИНАЛИЗИРУЕМ 71
72. Базы Данных, хранилища, очереди Высокий уровень владения языком Python Инфраструктура (облака, настройка серверов и т.д) Специализированные фреймворки/пакеты 72 Backend Developer Python Developer Data Engineer Data Science Specialist ML Engineer Математика и статистика
73. Базы Данных, хранилища, очереди Высокий уровень владения языком Python Инфраструктура (облака, настройка серверов и т.д) Специализированные фреймворки/пакеты 73 Backend Developer Python Developer Data Engineer Data Science Specialist ML Engineer Математика и статистика
74. Базы Данных, хранилища, очереди Высокий уровень владения языком Python Инфраструктура (облака, настройка серверов и т.д) Специализированные фреймворки/пакеты 74 Backend Developer Python Developer Data Engineer Data Science Specialist ML Engineer Математика и статистика
75. Базы Данных, хранилища, очереди Высокий уровень владения языком Python Инфраструктура (облака, настройка серверов и т.д) Специализированные фреймворки/пакеты 75 Backend Developer Python Developer Data Engineer Data Science Specialist ML Engineer Математика и статистика
76. Базы Данных, хранилища, очереди Высокий уровень владения языком Python Инфраструктура (облака, настройка серверов и т.д) Специализированные фреймворки/пакеты 76 Backend Developer Python Developer Data Engineer Data Science Specialist ML Engineer Математика и статистика
77. CONFIDENTIAL | © 2021 EPAM Systems, Inc. Спасибо за внимание! 77