Tweet
Tweet

Slide 1

Slide 1 text

© 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. Getting started with Artificial Intelligence & Machine Learning on AWS Sungmin Kim Solutions Architect, AWS

Slide 2

Slide 2 text

In this Talk • Our Mission at AWS • AWS AI/ML Stack for Every Developers • Machine Learning Workflow

Slide 3

Slide 3 text

Startup’s Dream is

Slide 4

Slide 4 text

Which Advertisement Is Better?

Slide 5

Slide 5 text

(B) may be Better, isn’t It?

Slide 6

Slide 6 text

Why (B) is Better? Climbing sunglasses Climbing shoes How about climbing gloves?

Slide 7

Slide 7 text

How to Choose the Most Relevant Advertisement? • may be easy to find, if a image has correct tags. • If so, how to tag millions of images in fast, cost-efficient way? • Machine Learning may save your life

Slide 8

Slide 8 text

Automatic Image Tagging Automatic Image Recognition

Slide 9

Slide 9 text

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth ML Marketplace Neo Augmented AI Built-in algorithms Notebooks Experiments Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI SERVICES ML SERVICES ML FRAMEWORKS & INFRASTRUCTURE Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE Amazon SageMaker DeepGraphLibrary 모든 개발자를 위한 다양한 인공 지능 도구 제공

Slide 10

Slide 10 text

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth ML Marketplace Neo Augmented AI Built-in algorithms Notebooks Experiments Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI SERVICES ML SERVICES ML FRAMEWORKS & INFRASTRUCTURE Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE Amazon SageMaker DeepGraphLibrary 모든 개발자를 위한 다양한 인공 지능 도구 제공

Slide 11

Slide 11 text

Amazon Rekognition 기계 학습을 통한 이미지 및 비디오 분석 자동화

Slide 12

Slide 12 text

Architecture: Automatic Image Tagging Amazon Elasticsearch Service Amazon Kinesis Data Streams Amazon Rekognition Images AWS Lambda Amazon S3 bucket with images Amazon API Gateway https://github.com/aws-samples/aws-realtime-image-analysis Automatic Image Recognition

Slide 13

Slide 13 text

Demo: Automatic Image Tagging https://github.com/aws-samples/aws-realtime-image-analysis

Slide 14

Slide 14 text

응용 사례: 고객 센터의 대화 정보 분석 Speech-To-Text

Slide 15

Slide 15 text

응용 사례: 고객 센터의 대화 정보 분석 Speech-To-Text Sentimental Analysis

Slide 16

Slide 16 text

Architecture: 고객 센터의 대화 정보 분석 Amazon Elasticsearch Service Amazon API Gateway Voice conversation AWS Lambda Amazon Kinesis Data Streams Amazon S3 bucket with speech-to-text files Amazon Transcribe Amazon Kinesis Data Streams AWS Lambda Amazon S3 bucket with voice files Amazon Comprehend Speech-To-Text Sentimental Analysis

Slide 17

Slide 17 text

Speech-To-Text Sentimental Analysis Contact Lens for Amazon Connect 고객과의 대화 데이터를 기반한 음성 인식, 자연어 처리를 통한 감정과 추세를 이해하는 인공 지능 서비스

Slide 18

Slide 18 text

주목 할 만한 AI Services

Slide 19

Slide 19 text

Amazon Comprehend Deep Learning 기반의 NLP 엔진이 탑재된 완전 관리형 자연 언어 처리 서비스 Entities 추출 언어 자동 감지 핵심 문구 Topic 모델링 POWERED BY DEEP LEARNING 감정 분석 !

Slide 20

Slide 20 text

Amazon Comprehend: 한글 텍스트 분석 예제

Slide 21

Slide 21 text

Amazon Fraud Detector 기계 학습을 사용하여 온라인 사기를 대규모로 실시간으로 쉽게 감지 할 수 있는 사기 탐지 서비스 사전 구축 된 사기 탐지 모델 템플릿 맞춤형 사기 탐지 모델 자동 생성 아마존 내부 경험을 통한 다양한 패턴 Amazon SageMaker와의 통합 과거 평가 및 탐지 로직 검토 통합

Slide 22

Slide 22 text

Generating Fraud Predictions Guest Checkout: Purchase IP: 1.23.123.123 email: [email protected] Payment: Bank123 … Fraud Detector returns: Outcome: Approved ML Score: 160 Purchase Approved Call service with: IP: 1.23.123.123 email: [email protected] Payment: Bank123 … AWS Cloud

Slide 23

Slide 23 text

Personalized recommendations Personalized reranking Notifications and emails Related Items Amazon Personalize Amazon.com에서 사용하는 머신 러닝 기술을 바탕으로 한 실시간 개인화 및 추천 서비스

Slide 24

Slide 24 text

Amazon Personalize: 고객 사례 상품 클릭률 15% https://aws.amazon.com/ko/solutions/case-studies/brandi/

Slide 25

Slide 25 text

AI Services 한 번에 정리하기 • Human-like • 보기(Vision) – Rekognition • 듣기 및 말하기(Speech) o Polly(Text-To-Speech) o Transcribe(Speech-To-Text) o Transcribe Medical • 읽기(Text) o Comprehend o Comprehend Medical o Textract • Common Applications • 예측 – Forecast • 추천 - Personalize • 검색 – Kendra • 채팅 – Lex • 고객 센터 – Contact Lens • 사기 탐지 – Fraud Detector • 개발자 도구 – Code Guru

Slide 26

Slide 26 text

6 Months Later

Slide 27

Slide 27 text

What about this?

Slide 28

Slide 28 text

We Need to Add Custom Labels …

Slide 29

Slide 29 text

What Should We Do?

Slide 30

Slide 30 text

Marketing Offer On A New Product

Slide 31

Slide 31 text

Option 1- Build A Rule Engine Age Gender Purchase Date Items 30 M 3/1/2017 Toy 40 M 1/3/2017 Books …. …… ….. ….. Input Output Age Gender Purchase Date Items 30 M 3/1/2017 Toy …. …… ….. ….. Rule 1: 15

Slide 32

Slide 32 text

Option 2 - Learn The Business Rules From Data Learning Algorithm Model Output Historical Purchase Data (Training Data) Prediction Age Gender Items 35 F 39 M Toy Input - New Unseen Data Age Gender Purchase Date Items 30 M 3/1/2017 Toy 40 M 1/3/2017 Books …. …… ….. …..

Slide 33

Slide 33 text

We Call This Approach Machine Learning Learning Algorithm Model Output Historical Purchase Data (Training Data) Prediction Age Gender Items 35 F 39 M Toy Input - New Unseen Data Age Gender Purchase Date Items 30 M 3/1/2017 Toy 40 M 1/3/2017 Books …. …… ….. ….. Rule 1: 15

Slide 34

Slide 34 text

Data Labeling: How To Add Custom Labels?

Slide 35

Slide 35 text

Machine: 96.9% Wheel: 95.5% Bracket: 80.3% Prop shaft mid bearing Clutch pressure plate Plant: 99.2% Corn: 95.3% Food: 95.3% Vegetable: 95.3% Sweet Corn Field Corn Amazon Rekognition Custom Labels 고객이 직접 데이터 입력을 통한 고유 객체 및 장면을 감지 할 수 있는 맞춤형 이미지 분석 기능 제공 일반적인 식별 특화된 식별

Slide 36

Slide 36 text

Amazon Rekognition Custom Labels 데이터 준비 데이터 레이블 작업 모델 재학습 특화된 식별

Slide 37

Slide 37 text

A2I를 사용하면 기계 학습 워크 플로우에서 사람이 직접 검토를 쉽게 구현하여 복잡한 결정의 정확성, 속도 및 규모 향상 가능 Amazon Augmented AI (A2I) 클라이언트에서 데이터 전송 AWS AI 서비스나 맞춤형 모델이 예측 생성 S3에 결과 저장 1 2 4 낮은 신뢰도 예측은 사람을 통해 작업하기 위해 전달 3 높은 신뢰도의 예측이 클라이언트 애플리케이션에 바로 반환 6 Amazon Rekognition Amazon Textract 5 A2I 답변 통합 알고리즘을 사용하여 통합된 리뷰 클라이언트 어플리케이션

Slide 38

Slide 38 text

Sent For Human Review: Amazon Rekognition

Slide 39

Slide 39 text

Sent For Human Review: Amazon Textract 작업자(Worker)가 잘못된 철자를 수정

Slide 40

Slide 40 text

Bounding boxes Image classification Semantic segmentation Text classification Custom(25 Templates) Named entity recognition • Key point • Line • Instance Segmentation Label Verification Video LIDAR 3D Point Cloud Amazon SageMaker Ground Truth 기계 학습용 훈련 데이터를 대규모로 간편하게 레이블링

Slide 41

Slide 41 text

Amazon SageMaker Ground Truth Auto-labeling 을 이용해서 최대 70%까지 비용 절감 Automatic annotations Raw data Human annotations Training data Human annotations High Confidence Low Confidence

Slide 42

Slide 42 text

1 Year Later

Slide 43

Slide 43 text

Jump to be Unicorn

Slide 44

Slide 44 text

Visual Search Similar results bonzai Provence lavender Cozy places Top 10 cozy apartments in Brooklyn

Slide 45

Slide 45 text

Machine Learning is like this Learning Algorithm Model Output Historical Purchase Data (Training Data) Prediction Age Gender Items 35 F 39 M Toy Input - New Unseen Data Age Gender Purchase Date Items 30 M 3/1/2017 Toy 40 M 1/3/2017 Books …. …… ….. ….. Rule 1: 15

Slide 46

Slide 46 text

Typical Machine Learning Process Collect, prepare and label training data Choose and optimize ML algorithm Train and tune ML models Set up and manage environments for training Deploy models in production Scale and manage the production environment 1 2 3

Slide 47

Slide 47 text

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth ML Marketplace Neo Augmented AI Built-in algorithms Notebooks Experiments Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI SERVICES ML SERVICES ML FRAMEWORKS & INFRASTRUCTURE Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE Amazon SageMaker DeepGraphLibrary 모든 개발자를 위한 다양한 인공 지능 도구 제공

Slide 48

Slide 48 text

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth ML Marketplace Neo Augmented AI Built-in algorithms Notebooks Experiments Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI SERVICES ML SERVICES ML FRAMEWORKS & INFRASTRUCTURE Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE Amazon SageMaker DeepGraphLibrary 모든 개발자를 위한 다양한 인공 지능 도구 제공

Slide 49

Slide 49 text

No content

Slide 50

Slide 50 text

End-to-End Machine Learning Platform Zero setup Flexible Model Training Pay by the second $ Amazon SageMaker 손쉬운 기계 학습 모델 생성, 훈련 및 서비스 배포 완전 관리 서비스

Slide 51

Slide 51 text

No content

Slide 52

Slide 52 text

Machine Learning is iterative

Slide 53

Slide 53 text

Amazon SageMaker Studio 기계 학습 모델 개발 및 배포를 위한 최초의 완전 통합 개발 환경 (IDE) 코드 작성 없이 데이터를 가지고 자동 모델 생성 SageMaker Autopilot 코드 의존성 추적 없이 확장 가능한 노트북 공유 SageMaker Notebooks 수천 개의 모델 실험을 구성, 추적 및 비교 SageMaker Experiments 오류 자동 디버깅 및 실시간 오류 경보 SageMaker Debugger 모델 모니터링 및 고품질 유지 SageMaker Model Monitor

Slide 54

Slide 54 text

Amazon SageMaker Studio 기계 학습 모델 개발 및 배포를 위한 최초의 완전 통합 개발 환경 (IDE)

Slide 55

Slide 55 text

No content

Slide 56

Slide 56 text

From Amazon SageMaker Notebooks

Slide 57

Slide 57 text

No content

Slide 58

Slide 58 text

Build fast and collaborate

Slide 59

Slide 59 text

개발자가 몇 초 만에 ML 노트북을 가동 후 한 번의 클릭으로 공유 할 수 있는 새로운 개발 환경 제공 Amazon SageMaker Notebooks 직원 자격 증빙으로 바로 개발 환경 접근 가능 관리자가 손쉽게 권한 및 접근 제어 가능 보안성 높은 완전 관리형 서비스 손쉬운 협업 환경 제공 클릭 한번으로 URL기반 공유 가능 싱글 사인온 (SSO)을 통한 손쉬운 접근 컴퓨팅 리소스 없이 서버리스 환경 별도의 설정이나 구동 불필요

Slide 60

Slide 60 text

No content

Slide 61

Slide 61 text

Manage Experiments

Slide 62

Slide 62 text

대규모 실험 추적 최상 결과 시각화 Python SDK & API 빠르게 반복 가능 실험 및 사용자의 매개 변수 및 측정 항목 추적 빠른 실험 구성 팀, 목표, 가설에 의해 구성 각 실험 간 시각화 및 비교 API를 사용하여 맞춤 측정 항목을 기록하고 모델 추적 반복 훈련을 통한 고품질 모델 개발 Amazon SageMaker Experiments 기계 학습 모델 훈련 실험을 구성, 추적 및 평가하는 완전 관리 서비스

Slide 63

Slide 63 text

mnist_experiment = Experiment.create( experiment_name="mnist-hand-written-digits-classification", description="Classification of mnist hand-written digits", sagemaker_boto_client=sm) cnn_trial.add_trial_component(tracker.trial_component) cnn_trial = Trial.create( trial_name=trial_name, experiment_name=mnist_experiment.experiment_name, sagemaker_boto_client=sm, ) with Tracker.create(display_name="Preprocessing", sagemaker_boto_client=sm) as tracker: tracker.log_parameters({ "normalization_mean": 0.1307, "normalization_std": 0.3081, }) tracker.log_input(name="mnist-dataset", media_type="s3/uri", value=inputs) Tracker 생성 Experiment 생성 Trial 생성 estimator. fit()

Slide 64

Slide 64 text

No content

Slide 65

Slide 65 text

Debug training runs

Slide 66

Slide 66 text

자동 데이터 분석 기능 필수 훈련 데이터 캡처 자동 오류 감지 기능 알림에 의한 생산성 향상 시각적 분석 및 디버깅 코드 변경 없이 데이터 분석 및 디버깅 훈련 시 다양한 로그를 자동으로 저장 규칙에 따라 오류 자동 감지 알림 기반 수정 조치 수행 SageMaker Studio와 연계 가능 Amazon SageMaker Debugger 코드 변경없이 실시간으로 모델 훈련 실행 과정의 데이터 캡처 및 분석을 자동화하여 훈련 과정에 대한 완벽한 통찰력 제공

Slide 67

Slide 67 text

No content

Slide 68

Slide 68 text

Deploy models

Slide 69

Slide 69 text

Amazon SageMaker Multi-model Endpoints 여러 모델을 호스팅 할 수 있는 endpoint를 제공함으로써 호스팅 비용을 절감 시켜주는 서비스 학습된 모델을 Amazon S3에 저장 모델을 쉽게 배포 및 관리 단일 엔드포인트에서 모든 모델 제공 Endpoint에 여러 모델 배포 동일한 엔드 포인트에서 여러 모델을 동시에 호출 대상 모델 호출 트래픽을 기준으로 관리되는 메모리 자동 메모리 처리 엔드포인트 및 인스턴스 활용도 향상 비용 대폭 절감

Slide 70

Slide 70 text

No content

Slide 71

Slide 71 text

Monitor models

Slide 72

Slide 72 text

자동 데이터 수집 지속적 모니터링 CloudWatch 통합 Endpoint에서 배포한 모델 관련 데이터 자동 수집 CloudWatch 알림을 기반으로 수정 작업 자동화 시각적 데이터 분석 사전 정의 기준에 따라 모니터링 일정을 정의하고 품질 변화 감지 SageMaker Studio에서 모니터링 결과, 데이터 통계 시각화 및 통합 규칙에 따른 유연성 내장 규칙을 사용한 데이터 드리프트 감지 혹은 사용자 정의 분석을 위한 고유 규칙 작성 Amazon SageMaker Model Monitor 모델을 지속적으로 모니터링하고 시간에 따라 모델 성능을 저하시킬 수 있는 편차를 감지하고 수정 조치를 취하는 서비스

Slide 73

Slide 73 text

No content

Slide 74

Slide 74 text

To summarize what we have done so far

Slide 75

Slide 75 text

Machine Learning Workflow

Slide 76

Slide 76 text

Amazon SageMaker Studio 기계 학습 모델 개발 및 배포를 위한 최초의 완전 통합 개발 환경 (IDE) 학습 모델 구축 및 협업 SageMaker Notebooks 학습 모델 실험 구성, 추적 및 비교 SageMaker Experiments 문제 분석, 탐지 및 실시간 오류 경보 SageMaker Debugger One-click 배포 , 모델 모니터링 및 고품질 유지 SageMaker Model Monitor

Slide 77

Slide 77 text

From Amazon SageMaker Notebooks

Slide 78

Slide 78 text

Let’s build our own Machine Learning model

Slide 79

Slide 79 text

Building a Visual Search Application https://aws.amazon.com/ko/blogs/machine-learning/building-a-visual-search-application-with- amazon-sagemaker-and-amazon-es/

Slide 80

Slide 80 text

As-Is: Automatic Image Tagging Amazon Kinesis Data Streams Client AWS Lambda Amazon S3 bucket with images Amazon API Gateway Amazon Elasticsearch Service Amazon Rekognition

Slide 81

Slide 81 text

To-Be: Automatic Image Tagging + Visual Search Amazon Kinesis Data Streams Client AWS Lambda Amazon S3 bucket with images Amazon API Gateway Amazon SageMaker Amazon Elasticsearch Service Notebook Model Models bucket SageMaker Endpoint Train

Slide 82

Slide 82 text

How to Automate Iterative tasks of ML Workflow?

Slide 83

Slide 83 text

자동 모델 생성 자동 모델 튜닝을 통한 ML 모델 자동 생성 추천 및 최적화 기능 리더 보드 확보 및 모델 개선 계속 Amazon SageMaker Autopilot 기존 AutoML의 단점을 극복하기 위해 모델 제어 및 가시성 확보를 기반으로 자동 모델 생성 및 관리 서비스 가시성 및 데이터 제어 모델에 맞는 노트북 소스 코드 빠르게 시작 가능

Slide 84

Slide 84 text

How Amazon SageMaker Autopilot Works https://github.com/aws/amazon-sagemaker-examples/tree/master/autopilot

Slide 85

Slide 85 text

No content

Slide 86

Slide 86 text

Generate the Codes and Notebooks for you Amazon SageMaker Autopilot Data Exploration Amazon SageMaker Autopilot Candidate Definition Notebook

Slide 87

Slide 87 text

“내가 더 멀리 보았다면 이는 거인들의 어깨 위에 서 있었기 때문이다.” - 아이작 뉴턴 If You Still Feel Machine Learning Difficult “거인의 어깨위에 서서” – 굿뉴스데일리

Slide 88

Slide 88 text

Classification • Linear Learner • XGBoost • KNN Working with Text • BlazingText • Supervised • Unsupervised* Recommendation • Factorization Machines Forecasting • DeepAR Topic Modeling • LDA • NTM Amazon SageMaker에서 제공하는 Built-in Algorithms Sequence Translation • Seq2Seq* Clustering • KMeans Feature Reduction • PCA • Object2Vec Anomaly Detection • Random Cut Forests • IP Insights Computer Vision • Image Classification • Object Detection • Semantic Segmentation Regression • Linear Learner • XGBoost • KNN https://docs.aws.amazon.com/sagemaker/latest/dg/algos.html

Slide 89

Slide 89 text

It’s time to pop champagne?

Slide 90

Slide 90 text

Wrap-up Our Business Problem 1. How to choose the most relevant advertisement? 2. How to tag millions of images in fast, cost-efficient way? 3. How to customize labels? 4. How to build our own ML model? 5. but, is it fast and costly enough?

Slide 91

Slide 91 text

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth ML Marketplace Neo Augmented AI Built-in algorithms Notebooks Experiments Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI SERVICES ML SERVICES ML FRAMEWORKS & INFRASTRUCTURE Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE Amazon SageMaker DeepGraphLibrary 모든 개발자를 위한 다양한 인공 지능 도구 제공

Slide 92

Slide 92 text

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth ML Marketplace Neo Augmented AI Built-in algorithms Notebooks Experiments Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI SERVICES ML SERVICES ML FRAMEWORKS & INFRASTRUCTURE Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE Amazon SageMaker DeepGraphLibrary 모든 개발자를 위한 다양한 인공 지능 도구 제공

Slide 93

Slide 93 text

Predictions drive complexity and cost in production 90% Inference (Prediction) 10% Training

Slide 94

Slide 94 text

A closer look at GPU utilization for inference 0 100 200 300 400 500 600 700 800 900 1000 1 2 3 4 5 6 7 90% underutilized for single batch size inference

Slide 95

Slide 95 text

0 50 100 150 200 1 2 3 4 5 6 More sessions doesn’t solve the problem

Slide 96

Slide 96 text

How cost effective are GPU instances for inference? Smaller P2 instances are more effective for real time inference with small batch sizes

Slide 97

Slide 97 text

Amazon Elastic Inference 기계 학습 추론 비용 최대 75% 절감 Key Features • Integrated with Amazon EC2, ECS, and Amazon SageMaker • Support for TensorFlow, Apache MXNet, and ONNX, with PyTorch coming soon • Single and mixed-precision operations

Slide 98

Slide 98 text

Amazon EC2 Inf1 Instances 클라우드에서 가장 빠르고 저렴한 기계 학습 추론용 인스턴스로서 AWS에서 설계 한 최초의 맞춤형 ML 칩인 AWS Inferentia 기반 Inf1은 GPU 기반 G4 인스턴스와 비교하여 최대 3 배 더 높은 처리량과 추론 당 비용을 최대 40 % 절감

Slide 99

Slide 99 text

ML inference deployment in Amazon EC2 커스텀 칩 EC2 Inf1 인스턴스 GPU 기반 EC2 G4 인스턴스 CPU 기반 EC2 C5 인스턴스 일반적인 ML 프레임 워크를 활용하는 애플리케이션 CUDA, CuDNN, TensorRT 라이브러리에 접근이 필요한 어플리케이션 성능에 민감도가 상대적으로 낮은, 작은 모델들 AWS Inferentia 제공 NVIDIA T4 GPUs 기반 Amazon EC2 G4 인스턴스 AVX-512/VNNI 명령어세트를 지원하는 Intel Skylake CPUs 사용 • 클라우드에서의 ML 추론에 가장 적합한 가성비를 가짐 • G4 인스턴스와 비교해서 추론 당 40% 더 저렴하고, 3배 더 높은 처리량 제공 바로 사용 가능! 이미 출시됨 이미 출시됨 Featuring AW S Inferentia

Slide 100

Slide 100 text

Your Dream Comes True

Slide 101

Slide 101 text

Put machine learning in the hands of every developer Our mission at

Slide 102

Slide 102 text

VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Ground Truth ML Marketplace Neo Augmented AI Built-in algorithms Notebooks Experiments Model training & tuning Debugger Autopilot Model hosting Model Monitor Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA Amazon Rekognition Amazon Polly Amazon Transcribe +Medical Amazon Comprehend +Medical Amazon Translate Amazon Lex Amazon Personalize Amazon Forecast Amazon Fraud Detector Amazon CodeGuru AI SERVICES ML SERVICES ML FRAMEWORKS & INFRASTRUCTURE Amazon Textract Amazon Kendra Contact Lens For Amazon Connect SageMaker Studio IDE Amazon SageMaker DeepGraphLibrary 모든 개발자를 위한 다양한 인공 지능 도구 제공

Slide 103

Slide 103 text

AI/ML Stack을 활용한 문제 해결 경로 문제 해결에 가장 적합한 AI 서비스 선택 문제 해결을 위한 ML 모델 개발 ML 모델 배포 및 모니터링 서비스 개발 문제 정의 AI 서비스 활용 Business Problem – ML problem framing SageMaker 활용 서비스 출시

Slide 104

Slide 104 text

References • Amazon Rekognition과 Elasticsearch를 이용한 이미지 자동 태깅 시스템 o https://github.com/aws-samples/aws-realtime-image-analysis • Building a visual search application with Amazon SageMaker and Amazon ES o https://aws.amazon.com/ko/blogs/machine-learning/building-a-visual-search-application- with-amazon-sagemaker-and-amazon-es/ • Visual Search with o https://thomasdelteil.github.io/VisualSearch_MXNet/ • Amazon Textract를 이용한 명함 자동 인식 및 인맥 추천 서비스 개발 하기 o https://tinyurl.com/36fd68c5 o https://tinyurl.com/aws-textract-neptune