2020년의 ML Kit: 집중과 변화

이 발표에서는 2020년 ML Kit의 새로운 기능과 변화들에 대해 소개합니다.

Android 11 meetup 에서 발표한 내용입니다.

행사 링크: https://developersonair.withgoogle.com/events/a11meetup-korea?talk=meetup5

Transcript

1. 2020년의 ML Kit: 집중과 변화
   신정규
   CEO / Researcher
   Lablup Inc.
   Google Developers Expert (ML/DL)
   

   View Slide

2. GDG Location
   안녕하세요!
   GDG Pangyo
   

   View Slide

3. GDG Location
   Agenda
   ML Kit?
   ML Kit의 역할
   2020년의 ML Kit의 변화
   마이그레이션 가이드
   GDG Pangyo
   

   View Slide

4. View Slide

5. 하드웨어의 발전: Cloud TPU Pod
   ● TPU Pods를 통째로!
   ○ Google T5 공개 (2019년 10월)
   ■ XLNet을 능가하는 성능의 언어 모델을 약 2주일만에 트레이닝
   ○ Giant TPU Pod (2020. 7)
   ■ TPU Pod 4대 연결
   

   View Slide

6. 하드웨어의 발전: Google Pixel 4
   ● Neural Core
   ○ 기기 안에서 구글 어시스턴트 실행
   ○ “연속 대화 기능”
   ○ 이미지 / 텍스트 처리 담당
   ○ 더 많은 모바일 기기에서 지원 예정: 어떻게?
   

   View Slide

7. 머신러닝
   +
   모바일
   =
   ?
   

   View Slide

8. 머신러닝+모바일: 왜?
   ● 더 나은 사용자 경험
   ● 강력하고 다양한 기능
   

   View Slide

9. 97% of mobile users are using
   AI-powered voice assistants in 2020.
   https://www.ventureharbour.com/marketing-ai-machine-learning-statistics/
   

   View Slide

10. 2020년, 97% 의 모바일 사용자들이 인공지능 기반의
    음성 비서를 사용하고 있습니다.
    https://www.ventureharbour.com/marketing-ai-machine-learning-statistics/
    

    View Slide

11. 개발자 환경 간의 간극을 메워주기 위한 도구가 필요했던 결과…
    

    View Slide

12. ML Kit
    Google의 머신러닝 SDK
    2018~
    ● iOS 및 안드로이드 SDK
    ● 기본 API들 및 맞춤형 모델
    ● 기기에서 바로 실행 및 구글
    클라우드 AI 추론 API 지원
    ● Firebase와의 강한 통합
    

    View Slide

13. View Slide

14. ML Kit: 시간표
    ML Kit 발표
    텍스트 인식 / 바코드 스캔
    랜드마크 인식 / 이미지 레이블링
    얼굴 인식
    iOS / Android 지원 (가속 미지원)
    API 추가
    번역
    자동 답장
    얼굴 contour 기능 추가
    얼굴 인식 지원 API 향상
    2018/2Q 2018/3Q 2018/4Q 2019/1Q 2019/2Q 2019/3Q 2019/4Q 2020/1Q 2020/2Q
    모델 서빙 기능 강화
    AutoML 모델 추론
    커스텀 모델 추론
    개선작업
    ML Kit 정책 변경
    ML Kit 관련 API 정리
    ML Kit 리런치
    완전 독립형 SDK
    Firebase ML과 분리
    다수 API 추가
    

    View Slide

15. ML Kit: 풀어야 할 숙제
    성능
    요구사항
    응용 분야
    개인 기기로써의 특성
    모바일 기기의 발전
    모델 크기
    클라우드의 엄청난 발전
    다양한 SDK 요구
    생태계 변화 속도
    머신러닝의 빠른 변화
    

    View Slide

16. 이상적이지만 최선은 아닌 세상:
    ML Kit: 또다른 이유들
    생애주기동안 모바일만 사용하게 되는 사용자층
    경제 규모에 따른 접속 비용의 지역적 편향
    증가하는 개인 정보 이슈
    다양한 경쟁 플랫폼의 등장
    모바일 기기의 성능 향상
    

    View Slide

17. ML Kit의 변화: Divide and Conquer
    2020년 6월
    Google Cloud / Firebase 의존성 제외
    기존 On-device API들
    +
    (Vision) 엔티티 발견
    (Vision) 자세 추적
    모든 API에 Jetpack Lifecycle
    지원
    CameraX 지원
    모델 배포
    AutoML Vision Edge
    Cloud API
    구글클라우드 기반 머신러닝
    최적화
    ML Kit Firebase ML
    바코드 스캔
    얼굴 발견
    이미지 레이블링
    개체 발견 및 추적
    텍스트 인식
    언어 종류 인식
    스마트 답장
    번역
    AutoML Vision Edge 추론 API
    BETA
    BETA
    

    View Slide

18. ML Kit: 주요 변경점
    속도 오프라인 안드로이드 대응
    개인정보보호
    모바일 머신러닝의 지적 포인트 개선
    1 2 3 4
    모든 동작이 기기에서 진행
    네트워크 레이턴시 없음
    이미지 / 동영상 실시간
    처리 가능
    네트워크 연결 필요 없음
    언제나 균일한 동작
    데이터가 기기 내에만 존재
    개인 정보를 에지에서 처리
    Android 11 대응
    Jetpack Lifecycle 지원
    CameraX 지원
    머신러닝과 카메라 동작의
    실시간 연계
    앱 크기 축소 지원
    

    View Slide

19. ML Kit: 지원 API (이미지)
    바코드 스캔 얼굴 판별 이미지 라벨링
    개체 탐색 및 추적 문자 인식 필기 인식
    

    View Slide

20. ML Kit: 지원 API (자연어)
    언어 종류 인식 온 디바이스 번역 스마트 답장
    

    View Slide

21. Google play store 통합
    ML Kit: 변화에 대응하기
    앱간 ML Kit 머신러닝 모델 공유
    Play Store 기반의 모델 업그레이드
    https://android-developers.googleblog.com/2020/06/mlkit-on-device-machine-learning-solutions.html
    // Face detection / Face contour model //
    Delivered via Google Play Services outside your
    app's APK…
    implementation 'com.google.android.gms:play-
    services-mlkit-face-detection:16.0.0'
    // …or bundled with your app's APK
    implementation 'com.google.mlkit:face-
    detection:16.0.0'
    

    View Slide

22. 마이그레이션 가이드
    ● Gradle 에서 firebase-ml-vision / firebase-ml-natural-language 제거
    ● 모델 패키지 아티팩트 이름 변경
    ● 클래스 이름 변경
    ● 메소드 이름 변경
    ○ 크게 변경되는 부분이 없음
    

    View Slide

23. 번들 모델 변경
    API Old Artifacts New Artifact
    Barcode scanning com.google.firebase:firebase-ml-vision:24.0.1
    com.google.firebase:firebase-ml-vision-barcode-
    model:16.0.1
    com.google.mlkit:barcode-scanning:16.0.2
    Face contour com.google.firebase:firebase-ml-vision:24.0.1
    com.google.firebase:firebase-ml-vision-face-
    model:19.0.0
    com.google.mlkit:face-detection:16.0.1
    Image labeling com.google.firebase:firebase-ml-vision:24.0.1
    com.google.firebase:firebase-ml-vision-image-
    label-model:19.0.0
    com.google.mlkit:image-labeling:16.2.0
    Object detection com.google.firebase:firebase-ml-vision:24.0.1
    com.google.firebase:firebase-ml-vision-object-
    detection-model:19.0.3
    com.google.mlkit:object-detection:16.2.0
    

    View Slide

24. 경량 모델 변경
    API Old Artifacts New Artifact
    Barcode scanning com.google.firebase:firebase-ml-
    vision:24.0.1
    com.google.android.gms:play-
    services-mlkit-barcode-
    scanning:16.1.1
    Face detection com.google.firebase:firebase-ml-
    vision:24.0.1
    com.google.android.gms:play-
    services-mlkit-face-
    detection:16.1.0
    Text recognition com.google.firebase:firebase-ml-
    vision:24.0.1
    com.google.android.gms:play-
    services-mlkit-text-
    recognition:16.1.0
    

    View Slide

25. 데모: ML Kit 예제 빌드하기 https://github.com/googlesamples/mlkit
    

    View Slide

26. 데모:
    ML Kit Quickstart
    

    View Slide

27. 데모:
    ML Kit 기반
    오프라인 문자 인식 + 번역기
    

    View Slide

28. Firebase ML
    ● 모델 추론 및 배포
    ● 자동 모델 훈련
    ● 온 디바이스 머신러닝
    ○ 커스텀 모델 배포
    ○ AutoML Vision Edge
    ○ 모델 A/B 테스트
    https://www.invisionapp.com/inside-design/let-go-a-b-testing/
    

    View Slide

29. Firebase ML
    ● Vision API
    ○ 텍스트 인식
    ○ 이미지 라벨링
    ○ 랜드마크 인식
    ● AutoML Vision Edge
    ○ ML Kit의 객체 카테고리 (400종) 보다 훨씬 많고 자세한 카테고리가 필요한 경우
    ○ 사용자 데이터 또는 임의 데이터로 모델을 훈련하고 싶은 경우
    

    View Slide

30. ML Kit
    정리
    머신러닝을 위한 모바일 SDK
    2020년의 변경
    모바일 기기 단독 실행에 최적화
    Google Play Store + Android
    예제
    이미지 API
    텍스트 API
    마이그레이션
    Firebase 의존성 삭제 및 대체
    Google Play Store 참조를 통한 앱 다이어트
    

    View Slide

31. 끝!
    즐거우셨나요?
    inureyes@gmail.com
    inureyes inureyes
    jeongkyu.shin
    

    View Slide