機械学習ことはじめ / Beginner's Guide to Machine Learning

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, timing, and pricing of any features or functionality described for Oracle’s products may change and remains at the sole discretion of Oracle Corporation. 2

Slide 3

Slide 3 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 3 自己紹介 @hhiroshell 早川博（はやかわひろし） • Data Science / Cloud Native な技術領域担当のプリセールスエンジニア • エンジニアコミュニティ「Cloud Native Developers JP」オーガナイザー • Developers Summit 2018、Japan Container Days 12.18 登壇

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. 7 FinTech Risk Analysis, High-Frequency Trading Retail Recommendation Engines, Customer Analysis Healthcare Drug Testing, Cancer Research Market Revenue for Big Data by 2027 $103B The rate at which big data on cloud is outpacing on-premise 4.5X of executives say that their companies will lose edge and face extinction without embracing big data 79% Data Driven Transformations: Multi Billion Opportunity ※ Oracle Modern Cloud Day Tokyo 2019 「Oracle Cloud Infrastructure データ管理 – Big Dataおよびデータベース」/ Usman Khan より

Slide 8

Slide 8 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 8 意思決定だけではない、新規ビジネス創出を見据えたデータ活用へデータドリブン経営のその先へ企業の意思決定のためのデータ活用企業経営の意思決定のためにデータとアルゴリズムを活用する既存ビジネスの効率化、高付加価値化既存ビジネスをデータによって改善し、より高いビジネス利益を得る e.g.) スマートファクトリー、保険取引におけるリスク分析新規ビジネスの創出機械学習、AIなど、より高度なデータ活用によって、新たなビジネスを創出する e.g.) AIチャットボット、企業人材分析コンサルティングサービス

Slide 9

Slide 9 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 9 企業におけるデータ活用があらゆる分野重要にユースケース Marketing Response Models Scheduled Jobs Customer churn APIs Text sentiment analysis Reports Lifetime Value Apps Computer vision and image tagging Apps Transactional data ETL Scheduled Jobs Forecasting Reports Risk management with machine learning APIs Recommendation engines APIs Data discovery and auditing Reports

Slide 10

Slide 10 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 1. MLで解くべき問題かどうかの見極めが難しい – MLで解けない問題は、MLでいくら頑張っても解けない – 手段先行でMLを採用すると、最悪投資が無駄になってしまう可能性も 2. MLシステムの構築、運用には高度なノウハウが必要(c.f. MLOps) – 学習データの収集、前処理 – 予測モデルを実システムに組みこんでの利用、管理・運用 …etc 10 機械学習(ML: Machine Learning)プロジェクトの難しさビジネス課題の設定と MLシステムの構築運用- 両面をクリアする必要がある Why ? How ?

Slide 11

Slide 11 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 課題1: MLで解くべき問題かどうかの見極めが難しい • MLプロジェクトの主な失敗原因 – MLを使わなくても十分効率的に対応できる – MLでは精度が十分でない – 学習データの入手に費用がかかりすぎる – システムを作ったはいいが使われない（重要でない） 11 MLが得意としない課題をMLで解こうとして、多くのプロジェクトが失敗している “ ” 「これまで開発系のプロジェクトは46つありました。そのうち15つは何らかの形で日の目を見ています。しかし、11つは完全に失敗、もしくはお蔵入りしたプロジェクトです。感覚としては、大体3分の1は形になり、3分の1はお墓に持って行き、残り3分の1は継続審議中。そんな割合で進んでいます」 ※ https://ledge.ai/theai-3rd-dentsu/ ※

Slide 12

Slide 12 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 課題2: MLシステムの構築、運用には高度なノウハウが必要 • システムとして継続的に価値を生み続けるには、予測モデルを作るだけでは足りない • 一般的なシステムとしての構築、運用ノウハウに加え、MLならではの考慮事項も 12 DevOps的な開発、運用に加えて、MLならではの考慮事項あり ※ https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning-systems.pdf ※

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 1. MLで解くべき問題かどうかの見極めが難しい – MLで解けない問題は、MLでいくら頑張っても解けない – 手段先行でMLを採用すると、最悪投資が無駄になってしまう可能性も 2. MLシステムの構築、運用には高度なノウハウが必要(c.f. MLOps) – 学習データの収集、前処理 – 予測モデルを実システムに組みこんでの利用、管理・運用 …etc 14 【再掲】 MLプロジェクトの難しさビジネス課題の設定と MLシステムの構築運用- 両面をクリアする必要がある Why ? How ?

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam その前に… ML is 何 ? • 新しい入力データに対し何らかの予測、判定、分類等の結果を出力する • 1)過去のデータから法則性（予測モデル）を獲得する学習フェーズと、2)新しい入力に対して法則を適用して結果を出力する予測フェーズがある（教師あり学習の場合） 16 未知の入力データに対し、意味のある予測、判定、分類を行う ① 学習フェーズ ② 予測フェーズ Input 正解データ予測モデル予測モデル Input Output

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam MLで解くべき問題かを見極める 1/3 • 具体的な解き方をセットにした課題設定を考える – 例） • ☓ ECサイトの売上を上げる • ○ ECサイトの売上を上げるために、ユーザー毎におすすめ商品を提示する 18 課題設定を正しく行うことで、予測モデルが作成可能なタスクに落としこむ

Slide 19

Slide 19 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam MLで解くべき問題かを見極める 2/3 • MLを適用できる必要条件を満たしているどうかを判断する – よい例） • ECサイトの全利用者に対し、購買・閲覧履歴を元におすすめ商品を提示する – よくない例） • 正解率99%の手書きテキストの文字起こし → 100文字当たり1回ミス。用途によっては足りない • 文字列を自動生成してつぶやくAIボット→ 人種差別的と取れる発言など、一発で大炎上 19 大量の予測処理をこなせるが、100%の精度にはならないことに注意 MLの適用領域の必要条件 ✓ 大量のデータに対して、高速に安定して判断を求める必要がある ✓ 予測結果に一定数の間違いが含まれることが許容できる（MLは100%の精度にはできない） ※ 「仕事で始める機械学習」 / 有賀康顕、中山心太、西林孝著

Slide 20

Slide 20 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam MLで解くべき問題かを見極める 3/3 • アルゴリズムの実現性と費用対効果を検討する 1. 解きたい課題に適したアルゴリズムをピックアップする 2. 学習を行うための教師データの入手性を確認する • データの性質によってはアルゴリズムにマッチしない可能性も 3. モデルの作成や維持にかかる費用と、得られる効果とのバランスを考慮する • ML以外の手段で安価に実現できないか 20 実現性と費用対効果をチェック ① アルゴリズムの選定 ③ 費用対効果の妥当性の検討 ② 教師データの入手性の検討

Slide 21

Slide 21 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam MLのいろいろなアルゴリズムを抑えておく • アルゴリズムは分類、回帰、クラスタリングなどに大まかに分類できる 21 アルゴリズムの概略を知ることが、MLを適用できるかを判断する上で重要大分類できることの概要教師あり／なし具体的なアルゴリズムの例分類 (Classification) 入力データを離散的なカテゴリにマッピングする例）手書き文字の画像を文字コードにマッピング、メールがスパムかどうかを判定あり・パーセプトロン・ロジスティック回帰・ニューラルネットワーク回帰入力データから連続値を予測する例）年齢から収入を予測あり・線形回帰・多項式回帰クラスタリングデータの集合から似たもの同士を見つけて分類例）ログデータをログレベル別に分類(INFO,ERROR,…) なし・階層的クラスタリング・k-means 次元削減多次元データを少数の次元に要約する例）5課目の成績を文系／理系スコアに要約なし・主成分分析

Slide 22

Slide 22 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 【参考】 scikit-learnのアルゴリズム・チートシート • 解きたい課題やデータの特性に応じて、適切なアルゴリズムの選定を助けてくれる • アルゴリズム名を選択すると、その詳説に飛ぶ 22 アルゴリズムの学習の補助として…。 ※ https://scikit-learn.org/stable/tutorial/machine_learning_map/

Slide 23

Slide 23 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam アルゴリズムの紹介 1/2 – 分類 • 入力データを離散的なカテゴリ（クラス）にマッピングする – クラスが2つの場合「二クラス分類」、3つ以上の場合「他クラス分類」と呼ぶ – 例：手書き文字の画像を文字コードにマッピング、メールがスパムかどうかを判定 • パーセプトロンによる二クラス分類の例 23 x1 x2 パーセプトロンの予測モデル：入力ベクトルの積和（重みをかけて合計）を二値に分ける ෍ w1 w2 積和二値化 0/1 … x1 x2 入力ベクトルで決定する座標空間を直線（超平面）で分割するイメージ

Slide 24

Slide 24 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam アルゴリズムの紹介 2/2 – 回帰 • 入力データから連続値を予測する – データを直線（平面）で近似するものを線形回帰、曲線（曲面）で近似するもの多項式回帰とよぶ。その他、補正項を追加するなどのバリエーションある – 例）年齢から収入を予測、都市の人口／地理動態から電力消費量を予測 • 線形回帰の例 24 x1 x2 線形回帰の予測モデル：入力ベクトルの積和を出力とする ෍ w1 w2 積和 y … x1 y x2 入力座標を近似した平面の、関数を導出するイメージ

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam MLシステムの構築、運用の全体 – 作業フローの観点 • 予測モデルの作成前後にもクリアしなければいけないタスクが多数 – データの収集と前処理、予測モデルの実システムでの利用、管理・運用 26 MLのフロー全体に対応した基盤の構築・運用が必要データ収集データ解析データ整形データ検証データ分割アルゴリズムの選定（探索的な作業）アルゴリズムの評価教師データによる学習予測モデルの評価サービスへの組み込み監視とロギング

Slide 27

Slide 27 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam MLシステムの構築、運用の全体 – 作業フローの観点 • 予測モデルの作成前後にもクリアしなければいけないタスクが多数 – データの収集と前処理、予測モデルの実システムでの利用、管理・運用 27 MLのフロー全体に対応した基盤の構築・運用が必要データ収集データ解析データ整形データ検証データ分割アルゴリズムの選定（探索的な作業）アルゴリズムの評価教師データによる学習予測モデルの評価サービスへの組み込み監視とロギングデータの準備予測モデルの作成

Slide 28

Slide 28 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam • 特徴量 – 学習データとして利用する前に入力データを加工して特徴量とする • ETL等、収集・整形に適したツールを検討 – データの特性に応じて格納場所を検討する • RDBMS、HDFS、Object Storage • 分類ラベル、予測値 – 正解は機械的には生成できない。収集のための工夫が必須 • 公開されたデータセットの利用 • クラウドソーシングなどで依頼して人手でデータ作成 • サービスに正解を入力してもらう仕組みを組み込む（例：reCAPTCHA） 28 データの準備 Input Output ✓教師あり学習では特徴量（入力）と分類ラベルや予測（正解）を準備

Slide 29

Slide 29 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 29 データの前処理 ✓ 予測モデルは特徴量の抽出処理（特徴抽出）とセットにして意味を成す ✓ 予測モデルとともに、特徴抽出時の処理内容とパラメータをセットにして保存（データパイプライン）し、予測時にも利用する ① 学習フェーズ Input 正解データ予測モデル特徴抽出（ロジック+パラメータ） ② 予測フェーズ予測モデル Input Output 特徴抽出（ロジック+パラメータ）

Slide 30

Slide 30 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 30 データの前処理 ✓ 予測モデルは特徴量の抽出処理（特徴抽出）とセットにして意味を成す ✓ 予測モデルとともに、特徴抽出時の処理内容とパラメータをセットにして保存（データパイプライン）し、予測時にも利用する ① 学習フェーズ Input 正解データ予測モデル特徴抽出（ロジック+パラメータ） ② 予測フェーズ予測モデル Input Output 特徴抽出（ロジック+パラメータ）データパイプラインデータパイプライン

Slide 31

Slide 31 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam データパイプラインの管理 • データパイプラインを定義・管理するためのOSSやサービスも充実 • OSS： – Apache Airflow – Argo – DigDag • サービス： – Cloud Composer(GCP) – OCI Data Integration Service (commig soon..) 31

Slide 32

Slide 32 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 予測モデルの作成 • OSSで定番のツール、ライブラリが充実 • クラウドで利用できる環境も充実してきている – AI Platform Notebooks(GCP), AWS SageMaker, databricks, OCI DataScience 32 – Jupiter Notebook • ノートブックと呼ばれるファイルにプログラム片や説明文、実行結果などをまとめて管理できる、データ分析用のツール – Pandas • データ解析用の定番のPythonライブラリ – TenserFｌow • ニューラルネットワーク向けのPythonライブラリ ✓ 教師データの一部を使って試行錯誤しながらアルゴリズムの当たりをつけ、その後全データで学習行って予測モデルを仕上げる

Slide 33

Slide 33 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 33 サービスへの組み込み ✓ プロダクションレベルの機能として利用するには、アプリケーション及びインフラの設計・実装・運用の知見が必要 ✓ 予測モデルは精度を維持するために定期的に更新する必要があるため、CI/CD （継続的インテグレーション／継続的デリバリー）の仕組みも必要予測モデルをリアルタイムに実行する例予測モデルを事前実行して結果を利用する例 Input 特徴抽出器バッチ系 API 正解アプリ学習器 Input 特徴抽出器学習系正解アプリ学習器予測系バッチ系

Slide 34

Slide 34 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 予測モデルを組み込んだシステムの運用 • 予測精度のモニタリング – 予測モデルの精度を測るKPIを設定し、それをモニタリングするのが基本 • 例）レコメンド結果のクリック率、Webサイト上の滞在時間…etc • 予測モデルの更新 – A/Bテストを実行する仕組み（c.f. CI/CD）を構築し、更新、切り戻しを容易にしておく – 精度計測用のデータセットを用意し、精度が一定以上であることをモデル作成毎にチェック 34 ✓ アプリケーションを運用するという意味での一般的な監視・ロギングは必要 ✓ 入力の傾向の変化によって予測モデルの精度が劣化することがある。このため、予測精度をモニタリングしたり、一定の頻度で予測モデルを更新する必要がある

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 1. MLで解くべき問題かどうかの見極めが難しい – MLで解けない問題は、MLでいくら頑張っても解けない – 手段先行でMLを採用すると、最悪投資が無駄になってしまう可能性も 2. MLシステムの構築、運用には高度なノウハウが必要(c.f. MLOps) – 学習データの収集、前処理 – 予測モデルを実システムに組みこんでの利用、管理・運用 …etc 38 【再掲】 MLプロジェクトの難しさビジネス課題の設定と MLシステムの構築運用- 両面をクリアする必要がある Why ? How ?

Slide 39

Slide 39 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam やっていきましょう！ • Data scientists and DevOps engineers top the list of tech jobs with the best earning potential and highest satisfaction rates. 39 ※ https://www.techrepublic.com/article/the-10-best-tech-jobs-in-america-for-2018/

Slide 40

Slide 40 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 参考文献 1/2 • 「仕事で始める機械学習」 – https://www.oreilly.co.jp/books/9784873118215/ • 「Hidden Technical Debt in Machine Learning Systems」 – https://papers.nips.cc/paper/5656-hidden-technical-debt-in-machine-learning- systems.pdf • 「Kubeflow Project: Deep Dive」 – https://schd.ws/hosted_files/kccnceu18/d4/Kubeflow_Deep_Dive.pdf • 「失敗から学ぶ機械学習応用」 – https://www.slideshare.net/HiroyukiMasuda1/ss-181844477 40

Slide 41

Slide 41 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam 参考文献 2/2 • 「ZOZOTOWNにおける画像検索の運用・改善について」 – https://speakerdeck.com/trsnium/operation-and-improvement-of-image-search- platform • 「ZOZOの画像検索でのMLOps実践とGKEインフラアーキテクチャ」 – https://docs.google.com/presentation/d/e/2PACX-1vQGsnZk1BAetbRkkoM- sz8IdE_Em9tT2jcKa0WvklyBuXEh5-Mk0CLAvKU4K46x5Vr2tt6il_ijXTOJ/embed • 「Introduction to Kubeflow 0.1 and future」 – https://speakerdeck.com/masayaaoyama/introduction-to-kubeflow-0-dot-1-and- future-at-cloud-native-meetup-tokyo-number-2 41

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. #orajam Safe Harbor Statement The preceding is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, timing, and pricing of any features or functionality described for Oracle’s products may change and remains at the sole discretion of Oracle Corporation. 43