Watson Studio / AutoAI ご紹介資料

皆さんは「Watson」と聞くと何を想像するでしょうか？

チャットボット？
テキスト分析？
画像認識？
音声認識？

これらの機能は2015年にWatson API日本語サービスがはじまった時の代表的なサービスであり、「非構造化データ」を対象にしているという特徴があります。
しかし、Watsonはその後、より広い範囲をカバーし、構造化データも扱えるように変わっています。
当資料では、その代表的なサービスであるWatson StudioとAutoAIのご紹介をします。

Transcript

1. Watson Studio / AutoAI ご紹介資料 「えっ、Watsonで営業予測ができるの」 2020-04-10版
2. 【主な経歴】 1987年⽇本アイ・ビー・エムに⼊社。東京基礎研究所で数式処理システムの研究開発に従事する。 1993年にSE部⾨に異動し、主にオープン系システムのインフラ設計・構築を担当。 2013年よりスマーターシティ事業、2016年8⽉にワトソン事業部に異動し、今に⾄る。 現在は、Watson Studio / Watson OpenScaleなどデータサイエンス系製品の提案活動が主体。 いろいろな領域を幅広くやっているので、IT基盤系・アプリ開発・プログラム⾔語・SQLチューニン グはもとよりWatsonや機械学習、ディープラーニングまで⼀通り語れるのが⾃慢。 【社外講師】 京都情報⼤学院⼤学「⼈⼯知能のための数学」講師 (2020年5⽉から予定) 【著作】 「Watson Studioで始める機械学習・深層学習」 リックテレコム 「最短コースでわかるディープラーニングの数学」 ⽇経BP 「現場で使える!Python⾃然⾔語処理⼊⾨」翔泳社 この他雑誌や qiita (https://qiita.com/makaishi2) 執筆多数 ⾚⽯ 雅典 ⽇本IBM Data & AI 事業部 Watsonテクニカルセールス Executive IT Specialist 著者紹介
3. はじめに 皆さんは「Watson」と聞くと何を想像するでしょうか︖ チャットボット︖ テキスト分析︖ 画像認識︖ ⾳声認識︖ これらの機能は2015年にWatson API⽇本語サービスがはじまった時の代表的なサービス であり、「⾮構造化データ」を対象にしているという特徴があります。 しかし、Watsonはその後、より広い範囲をカバーし、構造化データも扱えるように変わっ ています。 当資料では、その代表的なサービスであるWatson StudioとAutoAIのご紹介をします。
4. ⽬次 Q: Watsonは⾮構造化データしか扱えないのでは? Q: 構造化データを対象としたAIでどんなことができるの? (参考) 営業予測モデルの事例 Q: 構造化データのAIって、専⾨のデータサイエンティストがいないと無理では? Q: AutoAIって⾼いのでは? Q: 学習⽤のデータはどうやって準備するの? Q: モデルを作るのが簡単でも、本番利⽤の予測時に制約があるのでは? (参考) IBM Watson AI ソリューションのカバーする範囲 Q: AutoAIでデータ分析はできるの︖ (参考) SPSS Modeler Flowでカバーする範囲 Q: Watson Studioってパブリッククラウドでしか使えない︖ Q: Watson Studioの特徴を⽣かした利⽤事例は︖ その他のQA (参考) まずはお試し下さい︕(AutoAI⼿順書リンク) (参考) AutoAIリンク集
5. Q: Watsonは⾮構造化データしか扱えないのでは? A: 2015年にWatson API⽇本語サービスを開始したとき、対象は画像、⾳声、テキストといった⾮構造 化データが中⼼でした。しかし、2018年にWatson Studioという別サービスが開始され、今では構造化 データを対象にしたAIも利⽤することができます。 ⾃動化 Watson API 画像、⾳声、テキスト (⾮構造化データ) チャットボット 予測・分析 AutoAI SPSS Modeler Flow 最適化 Decision Optimization Watson Studio (モデル開発基盤) Watson AI ソリューション Watson Konwledge Catalog (構造化データ基盤) 2015年から 提供済み 2018年から 新たに提供
6. Q: 構造化データを対象としたAIでどんなことができるの? A: ⼈間がやっている判断が「分類」(グループ分け)か「回帰」(数値予測)のパターンに当てはめることが でき、学習データ(正解データ)が⼊⼿可能であれば、どのような業務にも適⽤可能です。 よく利⽤される例として、以下のようなものがあります。 分類の例: 「営業予測モデル」 営業が、顧客情報を元に、成約確率の⾼い⾒込み客を絞り込む 回帰の例: 「販売数予測モデル」販売店が、天気・曜⽇・気温などを元に、その⽇の商品の販売数を予測 出⼒ ⼊⼒ 営業予測モデル モデル 出⼒ ⼊⼒ 販売数予測モデル モデル
7. (参考) 営業予測モデルの事例 下記は、公開データセットを使って予測モデルを作り、営業成約率の⽐較をした例です。 モデル導⼊により、成約率が向上し営業の効率が上がることがわかります。 (当資料最後に⼿順書のリンクがあり、関⼼ある⽅は⾃分で試すこともできます) AutoAIでお⼿軽機械学習(その3) Webサービス編 予測 正解
8. Q: 構造化データのAIって、専⾨のデータサイエンティストがいないと無理では? A: Waston Studioの1機能であるAutoAIを使えば、その必要はないです。 AutoAIは、学習⽤のCSVファイルの準備だけすれば、専⾨知識なしに精度の⾼いモデルを⾃動的に作れます。 データ前処理 ⽋損値の補完、 データのエンコー ドなど精度を⾼め るのに必要な前処 理を⾃動的に実施 モデル選定 少ないデータで簡 易的なモデルを作 成し有⼒な候補の モデルを絞り込む ⽅式で、効率よく 精度の⾼いモデル を選定 パラメータ 最適化 精度向上に重要な ハイパーパラメー タ最適化について も、効率のいい⽅ 法で実施 特徴量 最適化 強化学習の仕組み を利⽤した先進技 術で、特徴量 チューニングを実 施 (参考) AutoAIでお⼿軽機械学習(その2) モデル構築編
9.  ( -
    >
        A ) (参考) AI 開発プロジェクトで必要な専⾨家 AI開発では、様々な領域の専⾨家が協⼒してプロジェクトを進める必要があります。 具体的に必要な専⾨家は以下のとおりです。
10. 
    
         P N J W O . I F '#(5,* /+  
    
    7- 7-! 0436  !&#!"
      1   
    
       %!)" $2.  . (参考) AI 開発プロジェクトで必要な専⾨家 銀⾏の電話営業業務を題材に、それぞれの専⾨家が考えることをブレークダウンしてみました。 他の３つの役割は従来からあった領域であるのに対して、「データサインティスト」が極めて専⾨性の⾼い 特殊な領域とわかります。従来は、この専⾨家の数が少ないことがAI化に際しての最⼤の課題でした。
11. 
    
    
       P N J W O . I F ! .
       (参考) AutoAIの位置付け AutoAIは、このようなデータサイエンティスト不⾜の課題に応えるためのソリューションです。 学習データをCSV形式で与え、2,3の指⽰をマウスクリックで⾏うだけで、あとは全⾃動で実⽤に耐えうる 精度の機械学習モデルを構築することが可能となります。
12. Q: AutoAIって⾼いのでは? パブリッククラウド上のライトアカウントであれば、クレジットカード登録もなしに無料で利⽤できます ので、まずはお試し下さい。 本格的に利⽤する場合も⽉1万円程度から利⽤できます。 環境 説明 価格 Cloud パブリッククラウド上のライセ ンスで、クレジットカードでも 利⽤可能 スタンダードプラン ⽉$99から Cloud Pak for Data Kubernates(OpenShift)基盤を 前提としたソフトウェア (弊社営業にご確認下さい) (参考) AutoAIでお⼿軽機械学習(その1) 準備編
13. Q: 学習⽤のデータはどうやって準備するの? A: 構造化データを使ったAIプロジェクトではでは、学習⽤のデータ準備に全体の約8割の時間がかかると⾔ われているほど、データ準備は重要なタスクです。 Watson Studioでは、データ整形⽤のGUIツールとしてSPSS Modeler Flow(簡易版SPSS Modeler)と Refineryが⽤意されていて、このタスクに関してもプログラミングなしに効率よく⾏うことができます。 SPSS Modeler Flowを使ったデータ加⼯例
14. Q: モデルを作るのが簡単でも、本番利⽤の予測時に制約があるのでは? A: AutoAIで作ったモデルは、Watson Machine Learning連携機能により1クリックですぐにWebサービス 化でき、アプリケーションから簡単に予測機能を呼び出せます。 作ったモデルのJupyter Notebook エクスポート機能も提供していて、Jupyter Notebookが動く任意の環 境で学習済みモデルを動かすこともできます。この使い⽅の場合、本番予測時のコストはゼロになります。 Webサービスの簡易テスト機能 Jupyter Notebookにエクスポートしたモデル (参考) AutoAIでお⼿軽機械学習(その3) Webサービス編 (参考) AutoAIでお⼿軽機械学習(その4) Jupyter Notebook編
15. PDCAサイクルを迅速に回す基盤 検索&必要な データアクセス 各種 データ接続 データ取得、 収集・加⼯ AI/分析モデル の学習/作成 AI/分析モデル のデプロイ モニター、 解析、管理 継続的な学習 コネクション 登録機能 Knowledge Catalog テーブル登録機能 Knowledge Catalog ノンプログラミング のデータ加⼯ Modeler Flow Refinery ノンプログラミング のモデル作成 AutoAI ワンクリックで Webサービス化 Watson Machine Learning連携 本番モデルの管理・ 監視 Watson OpenScale (参考) IBM Watson AI ソリューションのカバーする範囲 モデル運⽤時の解析・管理ツールとしてのWatson Openscaleも別サービスで提供されていて、AIモデル 開発のフルライフサイクルをサポートしています。
16. Q: AutoAIでデータ分析はできるの︖ A: データ分析の⼿法の⼀つとして、予測モデルを作り決定変数の重要度を⽐較する⽅法があります。 AutoAIではモデルの重要度分析機能を持っているので、この⼿法であればAutoAIで対応可能です。 クラスター分析、次元圧縮、アソシエーション分析など「教師なし学習」の分析⼿法に関してはWatson StudioのSPSS Modeler Flowが対応しており、こちらで分析する形になります。この場合もプログラミ ングなしでの分析が可能です。 AutoAIの重要度分析機能
17. (参考) SPSS Modeler Flowでカバーする範囲 Watson Studioの１機能として提供されているSPSS Modeler Flowでは、クラウド環境でSPSS Modeler と同等機能を利⽤可能です。下の図のようにデータ分析に関わる広い範囲をカバーしています。 データ⼊⼒ (DB・CSV,・ Excel) データ加⼯ (集計・フィ ルター・結合 etc) 教師あり学習 モデル (予測) 教師なし学習 モデル (分析) データ出⼒ (DB・ CSV)
18. Q: Watson Studioってパブリッククラウドでしか使えない︖ A: 2019年に「Watson Anywhere」のコンセプトを発表し、すべてのAIサービスを Kubernates(OpenShift)ベースで動くように移⾏中です。Watson Studioもこのコンセプトに対応している ので、企業のオンプレミスでも、他社のIaaSでも動かすことができます(Cloud pak for data)。 データ、メタデータ、モデル(PMML)などいくつかのレベルで互換性があるので、開発環境と実⾏環境を別に するなど、お客様の要件に応じた柔軟な使い分けも可能です。 Watson Studio AutoAI Knowledge Catalog RedHat OpenShift Cloud Pak for data SPSS Modeler Flow Watson Studio (モデル開発基盤) Watson Konwledge Catalog (構造化データ基盤) AutoAI SPSS Modeler Flow オンプレミス Watson Studio AutoAI Knowledge Catalog RedHat OpenShift Cloud Pak for data SPSS Modeler Flow 他社IaaS(AWS, Azure, etc) IBM Public Cloud モデル(PMML) ストリーム(SPSS) データ、メタデータ
19. Q: Watson Studioの特徴を⽣かした利⽤事例は︖ Watson Studio上では、⾮構造化データを対象にしたWatson API、構造化データを対象にした機械学習モ デル実⾏、最適化ツールであるDecision Optimizationを統合的に利⽤可能です。 例えば、次のような利⽤パターンが想定されます。 ・顧客とのやりとりのテキストログをWatson APIで数値化し、このデータも含めた形で与信管理システム を実装(⾮構造化データと構造化データの組み合わせ)。 ・顧客プロファイル・履歴を元に個⼈単位の購買予測モデルを構築。この結果を⼊⼒に、個⼈マーケティン グの最適化⽅法を策定(構造化データと最適化システムの組み合わせ)。 顧客属性 購買予測 結果 最適化 エンジン 顧客別 最適販売戦略 購買予測 モデル 制約・ 商品特性 個⼈マーケティング最適化事例
20. (参考) 機械学習モデル活⽤事例 (海外携帯電話会社) ご紹介するのは、SPSSを利⽤した事例ですが、同等のサービスはWatson Studioでも構築可能です。 テキスト情報(⾮構造化データ)を含めたAIによる予測をリアルタイムで実施している点がポイントです。 コールセンター顧客応対⽀援⽤アプリケーション 前提︓契約者毎の、契約プラン、⽉々の利⽤料⾦、顧客属性などを元に、解約確率などを予測する機械学習 モデルが構築済み その他の様々な施策も実施した結果、顧客離反防⽌による全体的な効果は3年で約400億円 ① 電話の着信 ② 顧客情報の表⽰ ③ 解約可能性等を予測 ④ 推奨商品を予測 ⑤ 顧客のやりとりをテキストで記録 ⑥ ⑤は新たな学習データになる 機械学習モデルの予測結果の利⽤ 機械学習モデル⽤学習データの追加
21. ①発信者の電話番号を キーに顧客を検索 ②顧客情報の表⽰ ③モデルの予測結果 (離反の可能性など) ④モデルの予測結果 (推奨商品) ⑤やりとりはテキストで記録 (機械学習データとして利⽤される) オペレータ向けアプリ 画⾯イメージ
22. その他のQA (AutoAI編) Q: AutoAIで⽇本語データは使えるの︖ 最新版のAutoAIでは、⽇本語のデータ項⽬と⽇本語データが扱えるようになりました。 Q: AutoAIで時系列分析はできるの? 過去の時系列データ(例えば映画館の⼊場者数)から、将来の⼊場者数を予測する分析を時系列分析といいま す。現段階でAutoAIは時系列分析に対応していませんが、将来の対応予定はあります。
23. その他のQA (IBM Cloud編) Q: クレジットカード番号無なしで登録できるLite Accountは1年で使えなくなる︖ IBM CloudのLite Accountは⼀度登録すれば、無期限で利⽤可能です。 ただし、過去のFree Planを利⽤していた場合、そのメールアドレスでLite Accountの登録ができないため、 別のメールアドレスが必要になります。 Q: ストレージサービスは使えるの? IBM CloudではS3互換のストレージサービス IBM Cloud Object Storageが利⽤可能で、Watson Studio内 部でも、データ保存⽤に利⽤されています。無料で利⽤可能なLite Planでは最⼤25GBまで保存できるので、 通常の利⽤形態で特に困ることはありません。
24. まずはお試し下さい︕ ハンズオン⼿順 以下のリンクに、IBMクラウドへのサインアップから、モデル⽣成、Webサービス化、Python Notebookによる検証 データの精度検証までの完全な⼿順を記載しました。 AutoAIでお⼿軽機械学習(その1) 準備編 https://qiita.com/makaishi2/items/d63f0bbac32a975c391e AutoAIでお⼿軽機械学習(その2) モデル構築編 https://qiita.com/makaishi2/items/d6cd449f7a9f7186a833 AutoAIでお⼿軽機械学習(その3) Webサービス編 https://qiita.com/makaishi2/items/e5ad4d068bd364fdc056 AutoAIでお⼿軽機械学習(その4) Jupyter Notebook編 https://qiita.com/makaishi2/items/0c59ae675362c9f85640
25. 参考情報 【IBM資料】 ブログ記事 AutoAI開発者によるブログ記事をご紹介します。 https://www.ibm.com/blogs/solutions/jp-ja/autoai-wins-aiconics-intelligent-automation-award-meet-key-inventor/ オンラインマニュアル AutoAIの詳細機能の解説があります(英⽂)。 https://dataplatform.cloud.ibm.com/docs/content/wsj/analyze-data/autoai-details.html 【qiita記事】 (⾮公式な情報ですが、他ツールとの⽐較があります) AutoMLがすごいと聞いたので⾊々使って⽐べてみた https://qiita.com/highno_RQ/items/71595fc402e5b3a55665
26. 本資料は、資料作成者によって準備され、独⾃の⾒解を反映したものです。情報提供の⽬的のみで提供されており、いか なる参加者に対しても法律的またはその他の指導や助⾔を意図したものではなく、またそのような結果を⽣むものでもあ りません。 本資料に含まれている情報については、完全性と正確性を期するよう努⼒しましたが、「現状のまま」提供され、明⽰ま たは暗⽰にかかわらずいかなる保証も伴わないものとします。本資料またはその他の資料の使⽤によって、あるいはその 他の関連によって、いかなる損害が⽣じた場合も、IBMは責任を負わないものとします。 本資料に含まれている内容は、 IBMまたはそのサプライヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも、IBM ソフトウェアの使⽤を規定する適⽤ライセンス契約の条項を変更することを意図したものでもなく、またそのような結果 を⽣むものでもありません。 本資料でIBM製品、プログラム、またはサービスに⾔及していても、IBMが営業活動を⾏っているすべての国でそれらが 使⽤可能であることを暗⽰するものではありません。本資料で⾔及している製品リリース⽇付や製品機能は、市場機会ま たはその他の要因に基づいてIBM独⾃の決定権をもっていつでも変更できるものとし、いかなる⽅法においても将来の製 品または機能が使⽤可能になると確約することを意図したものではありません。本資料に含まれている内容は、参加者が 開始する活動によって特定の販売、売上⾼の向上、またはその他の結果が⽣じると述べる、または暗⽰することを意図し たものでも、またそのような結果を⽣むものでもありません。 IBM、IBM ロゴ、ibm.com、SPSS、Watson、Watson Anywhere、Watson Openscale は、 世界の多くの国で登録さ れたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまた は各社の商標である場合があります。現時点での IBM の商標リストについては、 www.ibm.com/legal/copytrade.shtmlをご覧ください。