2020년의 ML Kit: 집중과 변화

이 발표에서는 2020년 ML Kit의 새로운 기능과 변화들에 대해 소개합니다.

Android 11 meetup 에서 발표한 내용입니다.

행사 링크: https://developersonair.withgoogle.com/events/a11meetup-korea?talk=meetup5

Transcript

1. 2020년의 ML Kit: 집중과 변화 신정규 CEO / Researcher Lablup Inc. Google Developers Expert (ML/DL)
2. GDG Location 안녕하세요! GDG Pangyo
3. GDG Location Agenda ML Kit? ML Kit의 역할 2020년의 ML Kit의 변화 마이그레이션 가이드 GDG Pangyo
5. 하드웨어의 발전: Cloud TPU Pod • TPU Pods를 통째로! ◦ Google T5 공개 (2019년 10월) ▪ XLNet을 능가하는 성능의 언어 모델을 약 2주일만에 트레이닝 ◦ Giant TPU Pod (2020. 7) ▪ TPU Pod 4대 연결
6. 하드웨어의 발전: Google Pixel 4 • Neural Core ◦ 기기 안에서 구글 어시스턴트 실행 ◦ “연속 대화 기능” ◦ 이미지 / 텍스트 처리 담당 ◦ 더 많은 모바일 기기에서 지원 예정: 어떻게?
7. 머신러닝 + 모바일 = ?
8. 머신러닝+모바일: 왜? • 더 나은 사용자 경험 • 강력하고 다양한 기능
9. 97% of mobile users are using AI-powered voice assistants in 2020. https://www.ventureharbour.com/marketing-ai-machine-learning-statistics/
10. 2020년, 97% 의 모바일 사용자들이 인공지능 기반의 음성 비서를 사용하고 있습니다. https://www.ventureharbour.com/marketing-ai-machine-learning-statistics/
11. 개발자 환경 간의 간극을 메워주기 위한 도구가 필요했던 결과…
12. ML Kit Google의 머신러닝 SDK 2018~ • iOS 및 안드로이드 SDK • 기본 API들 및 맞춤형 모델 • 기기에서 바로 실행 및 구글 클라우드 AI 추론 API 지원 • Firebase와의 강한 통합
14. ML Kit: 시간표 ML Kit 발표 텍스트 인식 / 바코드 스캔 랜드마크 인식 / 이미지 레이블링 얼굴 인식 iOS / Android 지원 (가속 미지원) API 추가 번역 자동 답장 얼굴 contour 기능 추가 얼굴 인식 지원 API 향상 2018/2Q 2018/3Q 2018/4Q 2019/1Q 2019/2Q 2019/3Q 2019/4Q 2020/1Q 2020/2Q 모델 서빙 기능 강화 AutoML 모델 추론 커스텀 모델 추론 개선작업 ML Kit 정책 변경 ML Kit 관련 API 정리 ML Kit 리런치 완전 독립형 SDK Firebase ML과 분리 다수 API 추가
15. ML Kit: 풀어야 할 숙제 성능 요구사항 응용 분야 개인 기기로써의 특성 모바일 기기의 발전 모델 크기 클라우드의 엄청난 발전 다양한 SDK 요구 생태계 변화 속도 머신러닝의 빠른 변화
16. 이상적이지만 최선은 아닌 세상: ML Kit: 또다른 이유들 생애주기동안 모바일만 사용하게 되는 사용자층 경제 규모에 따른 접속 비용의 지역적 편향 증가하는 개인 정보 이슈 다양한 경쟁 플랫폼의 등장 모바일 기기의 성능 향상
17. ML Kit의 변화: Divide and Conquer 2020년 6월 Google Cloud / Firebase 의존성 제외 기존 On-device API들 + (Vision) 엔티티 발견 (Vision) 자세 추적 모든 API에 Jetpack Lifecycle 지원 CameraX 지원 모델 배포 AutoML Vision Edge Cloud API 구글클라우드 기반 머신러닝 최적화 ML Kit Firebase ML 바코드 스캔 얼굴 발견 이미지 레이블링 개체 발견 및 추적 텍스트 인식 언어 종류 인식 스마트 답장 번역 AutoML Vision Edge 추론 API BETA BETA
18. ML Kit: 주요 변경점 속도 오프라인 안드로이드 대응 개인정보보호 모바일 머신러닝의 지적 포인트 개선 1 2 3 4 모든 동작이 기기에서 진행 네트워크 레이턴시 없음 이미지 / 동영상 실시간 처리 가능 네트워크 연결 필요 없음 언제나 균일한 동작 데이터가 기기 내에만 존재 개인 정보를 에지에서 처리 Android 11 대응 Jetpack Lifecycle 지원 CameraX 지원 머신러닝과 카메라 동작의 실시간 연계 앱 크기 축소 지원
19. ML Kit: 지원 API (이미지) 바코드 스캔 얼굴 판별 이미지 라벨링 개체 탐색 및 추적 문자 인식 필기 인식
20. ML Kit: 지원 API (자연어) 언어 종류 인식 온 디바이스 번역 스마트 답장
21. Google play store 통합 ML Kit: 변화에 대응하기 앱간 ML Kit 머신러닝 모델 공유 Play Store 기반의 모델 업그레이드 https://android-developers.googleblog.com/2020/06/mlkit-on-device-machine-learning-solutions.html // Face detection / Face contour model // Delivered via Google Play Services outside your app's APK… implementation 'com.google.android.gms:play- services-mlkit-face-detection:16.0.0' // …or bundled with your app's APK implementation 'com.google.mlkit:face- detection:16.0.0'
22. 마이그레이션 가이드 • Gradle 에서 firebase-ml-vision / firebase-ml-natural-language 제거 • 모델 패키지 아티팩트 이름 변경 • 클래스 이름 변경 • 메소드 이름 변경 ◦ 크게 변경되는 부분이 없음
23. 번들 모델 변경 API Old Artifacts New Artifact Barcode scanning com.google.firebase:firebase-ml-vision:24.0.1 com.google.firebase:firebase-ml-vision-barcode- model:16.0.1 com.google.mlkit:barcode-scanning:16.0.2 Face contour com.google.firebase:firebase-ml-vision:24.0.1 com.google.firebase:firebase-ml-vision-face- model:19.0.0 com.google.mlkit:face-detection:16.0.1 Image labeling com.google.firebase:firebase-ml-vision:24.0.1 com.google.firebase:firebase-ml-vision-image- label-model:19.0.0 com.google.mlkit:image-labeling:16.2.0 Object detection com.google.firebase:firebase-ml-vision:24.0.1 com.google.firebase:firebase-ml-vision-object- detection-model:19.0.3 com.google.mlkit:object-detection:16.2.0
24. 경량 모델 변경 API Old Artifacts New Artifact Barcode scanning com.google.firebase:firebase-ml- vision:24.0.1 com.google.android.gms:play- services-mlkit-barcode- scanning:16.1.1 Face detection com.google.firebase:firebase-ml- vision:24.0.1 com.google.android.gms:play- services-mlkit-face- detection:16.1.0 Text recognition com.google.firebase:firebase-ml- vision:24.0.1 com.google.android.gms:play- services-mlkit-text- recognition:16.1.0
25. 데모: ML Kit 예제 빌드하기 https://github.com/googlesamples/mlkit
26. 데모: ML Kit Quickstart
27. 데모: ML Kit 기반 오프라인 문자 인식 + 번역기
28. Firebase ML • 모델 추론 및 배포 • 자동 모델 훈련 • 온 디바이스 머신러닝 ◦ 커스텀 모델 배포 ◦ AutoML Vision Edge ◦ 모델 A/B 테스트 https://www.invisionapp.com/inside-design/let-go-a-b-testing/
29. Firebase ML • Vision API ◦ 텍스트 인식 ◦ 이미지 라벨링 ◦ 랜드마크 인식 • AutoML Vision Edge ◦ ML Kit의 객체 카테고리 (400종) 보다 훨씬 많고 자세한 카테고리가 필요한 경우 ◦ 사용자 데이터 또는 임의 데이터로 모델을 훈련하고 싶은 경우
30. ML Kit 정리 머신러닝을 위한 모바일 SDK 2020년의 변경 모바일 기기 단독 실행에 최적화 Google Play Store + Android 예제 이미지 API 텍스트 API 마이그레이션 Firebase 의존성 삭제 및 대체 Google Play Store 참조를 통한 앱 다이어트
31. 끝! 즐거우셨나요? inureyes@gmail.com inureyes inureyes jeongkyu.shin