Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Auto AI を使ったらくらく機械学習

osonoi
November 04, 2020

Auto AI を使ったらくらく機械学習

osonoi

November 04, 2020
Tweet

More Decks by osonoi

Other Decks in Technology

Transcript

  1. 小薗井 康志 日本IBM Developer Advocacy Group, Client Developer Advocate ブログ:

    https://qiita.com/osonoi (Qiita) https://blogs.itmedia.co.jp/osonoi/ (IT Media) Twitter: @osonoi Facebook: @osonoi 珍しい名前なのでたいがい “osonoi”で発見できます。
  2. ⽬次 1. 機械学習 2. Watson Studio概要 3. Watson Studio 注⽬機能

    4. Auto AI 5. Auto AI 課題DEMO 6. まとめ 7. 課題
  3. © 2017 International Business Machines Corporation 今は第三次AIブーム IBM Watson事業部 /

    Watson⼊⾨ コレ1枚でわかる第3次AIブームとデータ流通量, http://blogs.itmedia.co.jp/itsolutionjuku/2017/04/3ai.html
  4. 機械学習 Machine Learning 14 14 課題: ⼼不全がおこるかどうかを判断する *BMI: 体重kg÷(⾝⻑m*⾝⻑m) 実⾏:

    モデルは⼼不全の有無 を予測 学習: 学習し結果予測モデル作成のために データセットを利⽤ ⼼拍数 BMI 年齢 性別 結果 93 25 49 F False 108 24 32 M False 80 31 60 M True 93 27 58 F True ⼊⼒: ⼼拍数, BMI*, 年齢, 性別
  5. 今までのやり⽅ -- Traditional 15 データ ルール if BPM-BMI > 60:

    result = True else: result = False 結果 アルゴリズム
  6. 機械学習 Machine Learning 17 データ ルール アルゴリズム(モデル) 結果 (学習済モデル) 学習

    (パラメータ内部調整) ルール (学習済モデル) 予測したい データ 予測結果
  7. 教師あり学習 機械学習 教師なし学習 強化学習 回帰 Regression 分類 Classification 連続した数値を推定 Watson

    Studioの AutoAI機能で プログラミングなしで モデル作成が可能! 分類クラスを推定 • Decision Tree Regression • Extra Trees Regression • Gradient Boosting Regression • LGBM Regression • Linear Regression • Random Forest Regression • Ridge • XGBoost Regression • Decision Tree Classifier • Extra Trees Classifier • Gradient Boosted Tree Classifier • LGBM Classifier • Logistic Regression • Random Forest Classifier • XGBoost Classifier
  8. (参考) AutoAIでサポートしているモデル(回帰) 回帰型モデルでは、次の8種類のモデルをサポートしています。 Algorithm Description Decision Tree Regression Maps observations

    about an item (represented in the branches) to conclusions about the item’s target value (represented in the leaves). It supports both continuous and categorical features. Extra Trees Regression An averaging algorithm based on randomized decision trees. Gradient Boosting Regression Produces a regression prediction model in the form of an ensemble of decision trees. It supports both continuous and categorical features. LGBM Regression Gradient boosting framework that uses tree-based learning algorithms. Linear Regression Models the linear relationship between a scalar-dependent variable y and one or more explanatory variables (or independent variables) x. Random Forest Regression Constructs multiple decision trees to produce the mean prediction of each decision tree. It supports both continuous and categorical features. Ridge Ridge regression is similar to Ordinary Least Squares but imposes a penalty on the size of coefficients. XGBoost Regression GBRT is an accurate and effective off-the-shelf procedure that can be used for regression problems. Gradient Tree Boosting models are used in a variety of areas including Web search ranking and ecology.
  9. (参考) AutoAIでサポートしているモデル(分類) 分類型モデルでは、次の7種類のモデルをサポートしています。 Algorithm Description Decision Tree Classifier Maps observations

    about an item (represented in branches) to conclusions about the item’s target value (represented in leaves). Supports both binary and multiclass labels, as well as both continuous and categorical features. Extra Trees Classifier An averaging algorithm based on randomized decision trees. Gradient Boosted Tree Classifier Produces a classification prediction model in the form of an ensemble of decision trees. It only supports binary labels, as well as both continuous and categorical features. LGBM Classifier Gradient boosting framework that uses leaf-wise (horizontal) tree-based learning algorithm. Logistic Regression Analyzes a data set in which there are one or more independent variables that determine one of two outcomes. Only binary logistic regression is supported Random Forest Classifier Constructs multiple decision trees to produce the label that is a mode of each decision tree. It supports both binary and multiclass labels, as well as both continuous and categorical features. XGBoost Classifier Accurate sure procedure that can be used for classification problems. XGBoost models are used in a variety of areas including Web search ranking and ecology.
  10. Watson Studio 概念図 エンタープライズ・カタログ (メタデータや分析資産を共有し、だれもが使える状態に) データソース 構造化 パブリック オンプレミス プライベート

    データ加⼯/品質確認 (プレパレーション) AI/マシン ラーニング データ可視化 ダッシュボード データへのアクセス データ蓄積 整える 分析活⽤する つなぐ データ サインティスト ビジネスプロセス スコアリング 結果 提供者の視点 利⽤者の視点 Watson Studio チームで協働する データ分析
  11. Watson Studioの特徴 –分析の全プロセスで⼀貫して使えるツール - データソース カタログ 抽出 加⼯・結合 テーブル作成 (BIモデル

    作成) データ 可視化 機械学習 モデル作成 特徴点 抽出 Tool A Tool B Tool C Watson Studio ガバナンス 再利⽤ 基盤担当 データ エンジニア データサイエンティスト アプリ開発者 データ ガバナンス担当 つなぐ 整える 分析活⽤する チームで協働する
  12. Watson Studio 機能 • カタログ機能: Connection登録 • カタログ機能: テーブル登録 •

    カタログ機能: ⽂書 • Refinery: データ分析 • Refinery: データ整形 • Cognos Service: BI Tool • 機械学習⽤GUIツール (AutoAI) • SPSS modeler機能 • R Studio機能 • Jupyter Notebook機能 • 深層学習⽤GUIツール (Neural Network Designer) • 深層学習⽤GUIツール (Experiment Builder) • 深層学習⽤の実験環境(HPO)の提供 • Decision Optimizer • Machine Learning: モデル管理機能 • Machine Learning: Webサービス化 • Machine Learning: モデルの再評価、再学 習、再配置 • Visual Recognition Model作成ツール • Natural Language Classifier model作成 ツール • NeuNetS(学習データ(イメージ)に応じて最 適な深層学習モデルを⽣成)
  13. AutoAIの⾃動学習 データ前処理 効率のいいモデル作成に必須の処理である、⽋損値の補間、データのエンコードなどを、最適 な形で⾃動的に⾏います。 モデル選定 モデル選定に関しては、少ないデータで簡易的なモデルを作成し、有⼒な候補のモデルを絞り 込む⽅式を採⽤しています。この⽅法により、少ない処理時間で効率よく精度の⾼いモデルを 選定することが可能です。候補となるモデル数は 分類型: 7種類

    回帰型: 8種類です。 特徴量最適化 AutoAIでは、強化学習の仕組みを利⽤して、しらみつぶしではない効率のいい⽅法により、 精度の最適化をするための特徴量チューニングを⾏います。 ハイパーパラメータ最適化 モデルの精度に影響のある、ハイパーパラメータの最適化についても、計算資源をあまり使わ ない効率のいい⽅法で⾏います。 参照: https://dataplatform.cloud.ibm.com/docs/content/wsj/analyze-data/autoai-overview.html?audience=wdp
  14. (参考) AutoAIでサポートしているモデル(回帰) 回帰型モデルでは、次の8種類のモデルをサポートしています。 Algorithm Description Decision Tree Regression Maps observations

    about an item (represented in the branches) to conclusions about the item’s target value (represented in the leaves). It supports both continuous and categorical features. Extra Trees Regression An averaging algorithm based on randomized decision trees. Gradient Boosting Regression Produces a regression prediction model in the form of an ensemble of decision trees. It supports both continuous and categorical features. LGBM Regression Gradient boosting framework that uses tree-based learning algorithms. Linear Regression Models the linear relationship between a scalar-dependent variable y and one or more explanatory variables (or independent variables) x. Random Forest Regression Constructs multiple decision trees to produce the mean prediction of each decision tree. It supports both continuous and categorical features. Ridge Ridge regression is similar to Ordinary Least Squares but imposes a penalty on the size of coefficients. XGBoost Regression GBRT is an accurate and effective off-the-shelf procedure that can be used for regression problems. Gradient Tree Boosting models are used in a variety of areas including Web search ranking and ecology.
  15. (参考) AutoAIでサポートしているモデル(分類) 分類型モデルでは、次の7種類のモデルをサポートしています。 Algorithm Description Decision Tree Classifier Maps observations

    about an item (represented in branches) to conclusions about the item’s target value (represented in leaves). Supports both binary and multiclass labels, as well as both continuous and categorical features. Extra Trees Classifier An averaging algorithm based on randomized decision trees. Gradient Boosted Tree Classifier Produces a classification prediction model in the form of an ensemble of decision trees. It only supports binary labels, as well as both continuous and categorical features. LGBM Classifier Gradient boosting framework that uses leaf-wise (horizontal) tree-based learning algorithm. Logistic Regression Analyzes a data set in which there are one or more independent variables that determine one of two outcomes. Only binary logistic regression is supported Random Forest Classifier Constructs multiple decision trees to produce the label that is a mode of each decision tree. It supports both binary and multiclass labels, as well as both continuous and categorical features. XGBoost Classifier Accurate sure procedure that can be used for classification problems. XGBoost models are used in a variety of areas including Web search ranking and ecology.
  16. 5. Auto AI ハンズオン 1. データ準備 2. Watson Studio のセットアップ

    3. Watson Studio の起動 4. Watson Studio Projectの作成 5. Machine Learningサービスの作成と追加 6. Auto AI モデル作成 7. Auto AI Deploy & テスト
  17. 5. Auto AI ハンズオン 1. データ準備 2. Watson Studio のセットアップ

    3. Watson Studio の起動 4. Watson Studio Projectの作成 5. Machine Learningサービスの作成と追加 6. Auto AI モデル作成 7. Auto AI Deploy & テスト
  18. Bank.csv 個人データ 成約 データ数 4521 Yes: 521 確率 521/4521 =

    0.115, 11.5% 4521人に電話営業すると521人が契約してくれる。
  19. 全体の流れ AutoAIプロジェクト Watson Studio(IBM Cloud Pak for Data) Bank.csv トレーニング

    用データ Bankモデル モデル作成 デプロイメントステージ Bank.json (csvデータでも可能) Bankモデル Webサービス プロモートして Webサービスをデプロイ 予測結果
  20. 5. Auto AIハンズオン 1. データ準備 2. Watson Studio のセットアップ 3.

    Watson Studio の起動 4. Watson Studio Projectの作成 5. サービスの作成と追加 6. Auto AI モデル作成 7. Auto AI Deploy & テスト
  21. 50 2. Watson Studioのセットアップ • IBM Cloud ログイン アカウントをすでにお持ちの⽅は、 IBMidを⼊⼒してこちらからログインしてください

    https://ibm.biz/BdqAc3 にアクセスしてログインします。 • IBM Cloud ライトアカウント作成 アカウントをお持ちでない⽅は、 ご登録をお願いします
  22. 5. Auto AIハンズオン 1. Watson Studio のセットアップ 2. Watson Studio

    の起動 3. Watson Studio Projectの作成 4. サービスの作成と追加 5. Auto AI モデル作成 6. Auto AI Deploy & テスト
  23. 56 1. ダッシュボードを表⽰ (左上のIBM Cloudロゴをクリック) 2. リソースの要約「Services」 →「Services」からWatson Studioのサー ビスを選択

    3. Watson Studioの起動 もし右側にこ のような画⾯ がでてきたら、 「全詳細の表 ⽰」をクリッ クする
  24. 5. Auto AIハンズオン 1. データ準備 2. Watson Studio のセットアップ 3.

    Watson Studio の起動 4. Watson Studio Projectの作成 必要に応じてオブジェクトストレージの作成も 5. サービスの作成と追加 6. Auto AI モデル作成 7. Auto AI Deploy & テスト
  25. 5. Auto AIハンズオン 1. データ準備 2. Watson Studio のセットアップ 3.

    Watson Studio の起動 4. Watson Studio Projectの作成 5. サービスの作成と追加 6. Auto AI モデル作成 7. Auto AI Deploy & テスト
  26. 5. Auto AIハンズオン 1. データ準備 2. Watson Studio のセットアップ 3.

    Watson Studio の起動 4. Watson Studio Projectの作成 5. サービスの作成と追加 6. Auto AI モデル作成 7. Auto AI Deploy & テスト
  27. 6. Auto AI モデル作成 72 3. 名前 : bankを⼊⼒し、 ⾃分のWatson

    Machine Learning サービスインスタンスがセットされてい るのを確認して、[作成]をクリック
  28. 5. Auto AIハンズオン 1. データ準備 2. Watson Studio のセットアップ 3.

    Watson Studio の起動 4. Watson Studio Projectの作成 5. サービスの作成と追加 6. Auto AI モデル作成 7. Auto AI Deploy & テスト
  29. 全体の流れ AutoAIプロジェクト Watson Studio(IBM Cloud Pak for Data) Bank.csv トレーニング

    用データ Bankモデル モデル作成 デプロイメントステージ Bank.json (csvデータでも可能) Bankモデル Webサービス プロモートして Webサービスをデプロイ 予測結果
  30. 7. Auto AI Deploy & テスト 1. プロモートをクリックしてください もし緑のメニューが消えてしまった場合は左上のIBM Cloud

    Pak for Dataをク リック、下に出てくるデプロイメント︓スペースのスペース名(ここでは Space1)をクリックしてください 87
  31. 免責事項 106 IBM Developer Dojoは開発者の⽅を対象に、IBM Cloudを主とした技術情報をお伝えする⽬的で開催しています。 講師や運営スタッフにより、開催毎に最適と判断した内容でお届けしています。 現在、ハンズオンを伴う講義はお客様の費⽤負担がない環境と⼿順でご案内しています。講義終了後、不要に なりました制作物はお客様ご⾃⾝で削除をお願いいたします。クレジットカードの登録が伴わない場合、費⽤は ⼀切発⽣致しませんが、ご登録いただいたお客様はご注意ください。

    講師陣はみなさまの利⽤状況を個別に確認することはできません。 ご理解とご協⼒をお願いいたします。 利⽤したサービスの削除⽅法については講義の中でご案内します。 ご不明な点がございましたら、当⽇確認をお願いいたします。 講義終了後、 IBM Developer Dojoに関するお問い合わせは「Slack」にお願いします。それ以外のIBM Cloudの お問い合わせにつきましては、弊社サポートセンターまで、次のいづれかの⽅法でお問い合わせください。 IBM Cloudダッシュボードの「サポート」メニューから「Case」を作成し、英語でご記⼊ください IBM Cloudサポートセンター「相談する」ボタンからチャットまたは電話でご連絡ください https://www.ibm.com/jp-ja/cloud/support ご参加ありがとうございました。