serverless_data_analytics_architecture

Developers.IO Korea Online#3

Transcript

1. 데이터분석 아키텍쳐의 서버리스화 송영진
2. 발표자 소개 • 데이터분석기반 엔지니어, Classmethod(2020/04) • AWS를 이용한 데이터분석기반 구축, 기계학습에 관심 • 최근 관심있는 서비스는 AWS Glue DataBrew
3. 오늘 알아볼 내용 • 데이터분석이 뭐에요? • 데이터분석 아키텍쳐가 뭐에요? • 서버리스가 뭐에요? 왜 서버리스가 좋아요? • 데이터분석 아키텍쳐를 서버리스로 구축하면 어떤 점이 좋아요?
4. 데이터분석이란? “데이터 분석(Data analysis)은 유용한 정보를 발굴하고 결론 내용을 알리며 의사결정을 지원하는 것을 목표로 데이터를 정리, 변환, 모델링하는 과정이다.” https://ko.wikipedia.org/wiki/데이터_분석
5. 이거 어떻게 잘 정리해보면 도움되는 정보가 나오지 않을까?
7. 정보기술사회가 되면서 디바이스, 유저 정보 등 데이터가 기하급수적으로 늘어남
10. 데이터분석 아키텍쳐란?
11. AWS의 서비스로 보는 데이터분석 플로우
12. ETL?
13. 서버리스가 뭐에요? • 서버리스는 인프라를 관리할 필요 없이 애플리케이션과 서비스를 구축하고 실행하는 방식 • 애플리케이션은 여전히 서버에서 실행되지만, 모든 서버 관리는 AWS에서 수행 • 애플리케이션, 데이터베이스 및 스토리지 시스템을 실행하기 위해 서버를 프로비저닝, 확장 및 유지 관리할 필요가 없음
14. 서버리스의 장점 • 서버를 관리할 필요 없음 : 서버를 프로비저닝하거나 유지 관리할 필요가 없습니다. 설치, 유지 또는 관리할 소프트웨어나 런타임이 없음 • 유연한 확장: 애플리케이션은 자동으로 확장될 수 있고, 개별 서버 단위가 아니라 사용 단위 (예: 처리량, 메모리)를 설정/해제하여 용량을 조정가능 • 종량제 요금: 서버 단위가 아닌 일관된 처리량 또는 실행 기간에 대해 요금을 지불 • 자동화된 고가용성: 서버리스는 가용성과 내결함성을 내장 서비스에서 기본적으로 이를 제공하므로 이러한 기능을 설계할 필요가 없음
16. 귀찮은거 우리가 다 해줄게 서비스에만 집중해
17. 오… 그러면 우리는 어떻게 구성하면 될까요?
18. 레이크하우스 아키텍쳐 aws.amazon.com/blogs/big-data/build-a-lake-house-architecture-on-aws
19. aws.amazon.com/blogs/big-data/build-a-lake-house-architecture-on-aws
20. 서버리스 아키텍쳐 https://aws.amazon.com/blogs/big-data/aws-serverless-data-analytics-pipeline-reference-architecture
21. 서버리스 아키텍쳐의 장점 • ETL은 테이블 별로 병렬화가 가능하기 때문에 배치처리가 아닌 잡 단위로 분할 가능 • 잡 단위의 로그 및 리커버리 • 코스트 최적화가 쉬워짐 • 쉽게 스케일 가능한 아키텍쳐를 빠르게 구축
22. AWS Glue Studio https://aws.amazon.com/ko/glue 코딩 없이 ETL 작업 생성, 실행 및 모니터링
23. AWS Glue DataBrew https://aws.amazon.com/ko/glue 데이터 탐색 및 셀프 서비스 시각적 데이터 준비
25. Q&A