Watson Discovery入門編

本資料は2020/03/18開催のIBM Developer Dojo向けのものです。

Transcript

1. Taiji Hagino IBM Developer Advocacy Tokyo Team Sr. Developer Advocate IBM Champion Regional Director @taiponrock IBM Developer Dojo AI - Watson Discovery - ⼊⾨編
2. 萩野 たいじ（Taiji Hagino） Sr. Developer Advocate IBM Champion Program Regional Director IBM Node-RED/Node.js, Swift, Hyperledger Fabric, Functions 共著︓はじめてのNode-RED、DevRel Q&A 連載︓⽉間I/O Node-RED実践プログラミング @taiponrock フォロー、友達リクエストはお気軽に︕ @taiponrock #nodered #noderedjp
3. City Leader AKIRA ONISHI City Team TAIJI HAGINO KYOKO NISHITO AYA TOKURA NORIKO KATO Program Manager TOSHIO YAMASHITA Client Team YASUSHI OSONOI JUNKI SAGAWA DEVELOPER ADVOCATE in TOKYO Tokyo Team is a part of Worldwide Developer Advocate Teams!
4. 学習の⽬的とゴール ⽬的 IBM Watsonの概要について理解し、IBM WatsonをAPIとして使えるようになる ゴール Watsonの中からDiscovery APIに焦点を当 て実際にアプリケーションを作成する このコースを学ぶ⽅の想定スキル アプリ開発初⼼者、API利⽤初⼼者
5. 事前準備 1. IBM Cloudアカウント(無料)の取得 2. Webブラウザー Chrome または Firefoxの導⼊ 3. Slackワークスペースの作成
6. IBM Cloudアカウント作成はスマホで︕ https://ibm.biz/BdzWbp
7. ⽬次 1. アプリケーションとAPI 2. IBM Watsonについて 3. Watson API各種の紹介 4. ハンズオン
8. 1. アプリケーションとAPI 2. IBM Watsonについて 3. Watson API各種の紹介 4. ハンズオン
9. アプリケーション（ソフトウェアアプリケーション）とは ソフトウェアアプリケーションは、アプリケーションプログラムともいい、ワープロや表計算などといった、特定の目的でコンピュー ターを使うために作られたコンピュータープログラムのことです。 ゲームやSNSもアプリ Officeや勤怠⼊⼒システムもアプリ 受発注などのバッチ処理もアプリ
10. アプリケーションの例︓通勤費算出アプリ Input Output 通勤費算出 ⾃宅最寄り駅検索 会社最寄り駅検索 出発駅ー到着駅間の路線検索 該当路線の定期券費⽤算出 推奨路線とその定期券費⽤を表⽰ • ⾃宅住所 • 会社住所 • 推奨路線 • 定期券代
11. API（Application Programming Interface）の例 Input Output 通勤費算出 ⾃宅最寄り駅検索 会社最寄り駅検索 出発駅ー到着駅間の路線検索 該当路線の定期券費⽤算出 推奨路線とその定期券費⽤を表⽰ • ⾃宅住所 • 会社住所 • 推奨路線 • 定期券代 路線検索 路線検索API Input • 出発駅 • 到着駅 Output • 推奨路線
12. ソフトウェアアプリに「外部とやりとりする窓⼝」を作り、 外部アプリコミュニケーションや連携ができる状態にしたもので、 それをWeb経由で呼び出せるようにしたものをWeb APIといいます。 つまりAPIとは どうやって呼び出すの︖ Web APIは、アプリやブラウザからhttp(s)で呼び出せます。
13. 14 14 Web APIの呼び出し⽅法 出典: フリー百科事典『ウィキペディア（Wikipedia）』 Web APIを呼び出す⽅法として主に以 下があります。 REST/RESTful(レスト/レストフル) → REpresentational State Transferの略。Web APIを実装す る際のアーキテクチャの⼀つ。 cURL(カール) → httpを始めとした様々なプロトコ ルでデータ転送するためのツールや ライブラリ。
14. 会社・学校・⾃宅 データセンター Internet Internal Network Web API Web API http(s) http(s)
15. 1. アプリケーションとAPI 2. IBM Watsonについて 3. Watson API各種の紹介 4. ハンズオン
16. IBMの考えるAIシステムのハイレベル・アーキテクチャ 17 下図がIBMの考えるAIソリューションのアーキテクチャを模式的に⽰したものです。 ポイントとして、前提となる知識ベース、要素技術としてのコグニティブサービス(API)、ユー スケースとしてのソリューションフレームワークの三つがそろって初めて End To EndのAIソ リューションができるということがあります。 ソリューション 知識を活⽤しビジネス課題を解決 照会応答 Engagement 探索・発⾒ Discovery 意思決定⽀援 Decision Watson Solution Framework 個別領域⽂献 企業内データ 概念体系・辞書 ⽂脈情報 専⾨家の 知⾒ ⾃然⾔語処理・知識表現・機械学習・Deep Learning 考える 読む 聴く ⾒る 話す Watsonの 提供する機能 知識ベース Watsonコグニティブ・サービス テキスト解析 質問応答 ⾳声認識合成 画像認識 … … 探索 発⾒ エコシステム パートナー ソリューション 顧客対応 オペレータ⽀援 ⾦融商品 アドバイス リスク管理 がん診断⽀援 審査プロセス クリニカルトライ アルマッチング 創薬⽀援 セルフサービス型 顧客対応
17. AIソリューションサービスにおけるIBMの強み • 業務別ソリューション領域での数多くの実績とノウハウの蓄積 医療、創薬研究、⾦融、法律など数多くの業務領域でAIソリューションの構築経験があり、それら がノウハウとして蓄積されているので、新規案件に効率よく対応できます。 医療領域では6000名以上の専⾨家がWatsonプロジェクトに参画しています。 • 研究、開発部⾨における⻑年の実績・投資 有名な"Jeopardy!"プロジェクトや、⽇本発のテキスト分析プロジェクト "TAKMI"を始めとして、 特にテキスト分析の領域では⻑年の基礎研究の実績があり、それらはAIソリューションの製品・ サービスに反映されています。 また、会社として研究プロジェクトに年間5000億円以上の投資を⾏っています。 その成果として、⽶国の特許取得件数は24年連続で1位です。 • 業務ドメインに特化した機械学習モデルの構築 Watson Knowledge Studioを活⽤すると、簡単に業務ドメインに特化した機械学習モデルを構築可 能です。汎⽤的なAIサービス提供が中⼼の他社と⽐較した弊社の特徴となります。 • 知的資産の保護 API呼出し時のオプト・アウト指定(お客様データを機械学習などサービス改善に利⽤しないオプ ション)を初めとして、お客様の知的資産保護に配慮を払っています。
18. Watsonコグニティブ・サービスとは l 各種コグニティブ・サービ ス(部品)がクラウド上で利 ⽤できる l APIで呼び出して使えるた め必要な機能単位でアプリ ケーションから利⽤可能 ⾔語 画像 ⾳声 分析 IBM Watsonは、コグニティブ・システムを実現するための要素を Web APIサービス(※) として提供しています。 *Application Programming Interface の略
19. Watson APIの特徴 Watson APIは以下のような特徴を持っています • 豊富なラインナップ ⾔語系、画像系、⾳声系、探索系など数多くのAPIがそろっています。 また、他のIBM Cloudサービスと組み合わせることでより広い分野のアプリを実現可能です。 • 充実した開発環境 GitHub上のWatson Developer Cloudにライブラリ、サンプルアプリなど公開しています。サンプ ルアプリをダウンロードしてすぐに試すことができます。 • 簡単に利⽤可能 APIはすべてREST形式のインターフェイスなので、curlコマンドなどで簡単に利⽤可能です。 • パブリッククラウド上のサービス インターネットにアクセス可能な環境ならどこでも利⽤可能です。
20. Watson APIの呼出し⽅法 Watson APIの呼出し⽅法は⼤きく次のような形態があります。 単体テストレベル cURLコマンド: REST形式APIの特徴としてほとんどのAPIはcurlコマンドから呼び出せます。 Watson API Docs: APIの説明とともにUIから簡易的にAPIを呼び出せます 。 https://cloud.ibm.com/apidocs 結合テスト/PoCレベル Node-RED: GUIの画⾯から部品を組み合わせるようにWatson APIを呼び出せます。 本番レベル Web App: それぞれの⾔語に対応したAPI toolkitがあり、それを利⽤して開発します。 Functions: IBM Cloudでサポートしているサーバーレスの新しいプログラム実⾏環境です。
21. 1. アプリケーションとAPI 2. IBM Watsonについて 3. Watson API各種の紹介 4. ハンズオン
22. 23 Watson APIは、IBMのAIである Watsonの⼀部の機能をWeb API化 して、いろいろな場所から呼び出 せるようにしたものです。 Watson APIはIBM Cloudの中の サービスの⼀つという位置づけで、 IBM Cloudアカウントで作成する ことが出来ます。 IBM Cloud サービス Watson API ç√ データベース Cloudant .. ç√ CloudFoundary Node.js .. ç√ 分析 Apache Spark .. ç√ アプリケーション Blockchain .. ç√ IoT IoT Platform ..
23. 24 © 2019 International Business Machines Corporation ⼼理系 ⾔語系 IBM Watson / Watson API 紹介資料 Watsonの製品・サービス⼀覧 Watsonの製品・サービスは⽇々進化しています。 2019年2⽉12⽇現在のPublic Cloud上のAPI⼀覧は以下の通りとなります。 https://www.ibm.com/watson/developercloud/services-catalog.html Watson Assistant アプリケーションに⾃然⾔語インターフェースを 追加してエンドユーザとのやり取りを⾃動化 照会応答系 Text to Speech テキスト⽂章を⾳声に変換する Speech to Text ⾳声をテキスト⽂章に変換する Visual Recognition 画像コンテンツに含まれる意味を検出する 知識探索系 ⾳声系 Discovery 先進的な洞察エンジンを利⽤して、データの隠れた 価値を解明し、回答やトレンドを発⾒する Discovery News Discovery上に実装され、エンリッチ情報も付加さ れたニュースに関する公開データセット Personality Insights テキストから筆者の性格を推定する Language Translator ※2 ⾃然⾔語テキストについて他⾔語へ翻訳を⾏う Natural Language Understanding ※1 ⾃然⾔語処理を通じてキーワード抽出、エンティテ ィー抽出、概念タグ付け、関係抽出などを⾏う Natural Language Classifier テキスト⽂章の分類を⾏う(質問の意図推定など) Tone Analyzer(⽇本語未対応) テキストから筆者の感情、社交性、⽂体を解析する Knowledge Studio コーディングなしに、業務知識から⽣成した機械学 習モデルで、⾮構造テキストデータから洞察を取得 画像系 データ分析 系 Watson Studio 機械学習モデル向けの作成と学習、データの準備と 分析のための統合環境 Machine Learning 機械学習モデル・深層学習モデルの作成、学習、 実⾏環境 Knowledge Catalog 分析に必要なデータを加⼯・カタログ化できる分析 データ準備環境 ※1 感情分析は⽇本語未対応です。 ※2 ⽇本語翻訳は英⽇・⽇英のみ対応しています。 Watson OpenScale AIに信頼性と透明性をもたらし、判定結果を説明 し、バイアスを⾃動的に排除する Compare and Comply(⽇本語未対応) 契約書や調達仕様書を分析し、⽂書間の⽐較や重要 要素の抽出を⾏う
24. 翻訳 Language Translator
25. サンプルアプリ https://language-translator-demo.ng.bluemix.net/ このAPIでは翻訳以外に、⾔語の判定のみを⾏う機能も持っていて、この場合は60以上の⾔語に対応しています。具体的な対応⾔語につ いては、以下のリンクを参照して下さい。 https://console.ng.bluemix.net/catalog/services/language-translator テキストを翻訳するAPIです。 事前学習済みのAPIですが、業務固有の単語に ついて追加学習を⾏うことも可能です。
26. ⾃然⾔語解析 Natural Language Understanding
27. 28 © 2019 International Business Machines Corporation サンプルアプリ https://natural-language-understanding-demo.ng.bluemix.net/ ⾃然⾔語を解釈して、テキストを分析し、コンテンツから概念、エンティティー 、キーワード、カテゴリー、感情、関係、意味役割などのメタデータを抽出しま す。 ⼤きな特徴としてすべてのAPIは公開されているデータにより事前学習済みであ り、学習なしで解析結果を取得できる点があります。 • エンティティ抽出(Entities) • 関係抽出 (Relations) • 概念抽出(Concepts) • キーワード抽出(Keywords) • 評判分析 (Sentiment) ⼊⼒⽂ 解析結果 ⼊⼒⽂ 抽出結果 • 感情分析 (Emotion) ※ • カテゴリー抽出(Categories) • 構⽂解析(Semantic Roles) • その他 (Metadata) 構⽂解析(Semantic Roles) カテゴリー抽出(Categories)
28. ⾃動応答・会話 Assistant
29. 30 © 2019 International Business Machines Corporation サンプルアプリ https://watson-assistant-demo.ng.bluemix.net/ Watson Assistantで作った LINE bot Chat botを実装するためのAPIです。 対話ユーザーの発⾔の⾔い回しなどの多様なバリ エーションの解釈含めて単独のサービスとして提 供します。 ユーザーの意図理解のため「意図分類器」を使っ ています。 • フローエディタでダイアログの 流れを視覚的に開発することが できます。 • 簡易テスト機能で、ダイアログ 開発中に会話の流れを確認でき ます。 簡易テスト機能 フローエディタ
30. 知識探索 Discovery
31. 32 © 2019 International Business Machines Corporation サンプルアプリ https://discovery-news-demo.ng.bluemix.net/ コグニティブ検索、コンテンツ分析のSaaS/APIプラットフォーム です。下記の機能を⼀つのAPIですべて持っていることが最⼤の 特徴で、これにより⾮構造型および構造型データ検索の統合プ ラットフォームとなることを⽬指しています。 データ取り込み機能: HTML / PDF / WORD / JSONに対応。 従来のDocument Conversionと同等機能です。 エンリッチ機能: 取り込んだ⽂書に対してNLU(Natural Language Understanding)によるタグ付けを⾏います。追加可能項⽬は、 entity, conceptなど最⼤8項⽬(⽇本語は7項⽬)です。 ストレージ機能︓データはクラウド上にINDEXとして保存されま す。 検索機能︓エンリッチ機能で付加された情報を含め、類似度スコ ア付きのデータ検索を⾏うことができます。 ニュース記事から⼈物(Person)をエンティティとして抽出し、⼈物間の関係 をグラフ表⽰したデモアプリ
32. 33 © 2019 International Business Machines Corporation Discovery News Discoveryのインスタンスを作成すると、世界各地のニュース記事を保持している、事前作成済み読み取り専⽤ コレクション Discovery News ※がすぐに使える状態になります。 Discoveryのインスタンスを作成すると、世界各地のニュー ス記事を保持している、事前作成済み読み取り専⽤コレクシ ョン Discovery News ※がすぐに使える状態になります。 • Publicな参照専⽤のコレクションでデータ登録の必要な しにすぐに活⽤可能 • Discoveryの使い⽅を習熟することができる • IBMが選定した10万のニュースソース • TOP 8000のニュースソースに関しては10分に1回クロ ール実施 • 1⽇当たり30万件以上の記事 Watsonでは今後もこのようなDiscovery上のコンテンツサ ービスを充実させる予定です。
33. 性格診断 Personality Insights
34. 35 © 2019 International Business Machines Corporation サンプルアプリ https://personality-insights-demo.ng.bluemix.net/ 個⼈の⼼理的な特性をその個⼈が書いたテキスト⽂書から分析します。 (最低1000⽂字程度、SNSのつぶやきでも可) ビッグ・ファイブ、価値、ニーズの3つの次元に分割して出⼒します。 想定ユースケース • 個客対応型マーケティング、おすすめ商品の提⽰。 • ⼈と⼈、⼈と組織のマッチング。
35. 感情分析 Tone Analyzer
36. 37 © 2019 International Business Machines Corporation サンプルアプリ https://tone-analyzer-demo.ng.bluemix.net/ テキスト分析を通じて、ユーザーの感情、⾔語スタイル、社会的傾向を分析します。 このうち、感情分析はNLUのものと同⼀の分析となります。 コールセンター、チャットボットなどで顧客の反応を分析評価するなどの利⽤が考えられま す。分析結果は、⽂書全体に対するものと、個別⽂に対するものの2通りとなります。 具体的な分析内容 感情分析︓喜び(joy)、恐れ(fear)、悲しみ(sad)、怒り(anger)、嫌悪(disguest) ⾔語スタイル︓分析的(analytical)、⾃信のある(confident)、暫定的(tentative) Tone Analyzerを使った Cognitiveドレス
37. テキスト・⾳声 Speech to Text Text to Speech
38. 39 © 2019 International Business Machines Corporation サンプルアプリ https://text-to-speech-demo.ng.bluemix.net/ Speech To Textは⾳声をテキストに変換するAPIです。 Text To Speechはテキストを⾳声に変換するAPIです。 認識結果 テキスト ⾳源 ⾳声認識エンジ ン ⾳響モデル ⾔語モデル 対応している⾔語、⾳声種別は次の通りです。 英語 (⽶国) 2種類の⼥性の声、1種類の男性の声 (JeopardyのWatsonの⾳声) 英語 (英国) 1種類の⼥性の声 フランス語 1種類の⼥性の声 ドイツ語 1種類の⼥性の声、1種類の男性の声 イタリア語 1種類の⼥性の声 スペイン語 (カスティリャ語) 1種類の⼥性の声、1種類の男性の声 スペイン語 (北⽶) 1種類の⼥性の声 ポルトガル語 (ブラジル) 1種類の⼥性の声 ⽇本語 1種類の⼥性の声 サンプルアプリ https://speech-to-text-demo.ng.bluemix.net/
39. 画像認識 Visual Recognition
40. 41 © 2019 International Business Machines Corporation サンプルアプリ https://watson-visual-recognition-duo-dev.ng.bluemix.net/ Visual Recognitionは、下記の画像分析機能を提供します。 General Tagging ⼀般種別 画像の特徴を検知し、タグとして抽出しクラス・キー ワード(⽝、⼭などの⼀般名詞)を⽣成します。 Visual Learning 画像トレーニング 識別を⾏いたいクラスのイメージを事前学習させ ます。識別結果は確信度と共に返されます。 事前学習 不要 事前学習 必要 General Taggingは、事前学習済みの分類器の出⼒を返します。 具体的な分類クラスの⼀覧は、クラスが⽇々更新されているため⾮ 公開ですが、数千個の分類クラスがあるとされています。 カスタムクラスとして事前学習させる場合は、別途Watson Studio などのツールを使います。
41. 1. アプリケーションとAPI 2. IBM Watsonについて 3. Watson API各種の紹介 4. ハンズオン
42. ハンズオン Discovery Newsを使ってSlack botを作成する http://ibm.biz/dojo-discovery-ws
43. 追加ハンズオン・チュートリアル Watson Discovery⼊⾨ https://www.ibm.com/developerworks/jp/library/intr oduction-watson-discovery/
44. アンケート こちらからアンケートへのご回答をお願いします︕ http://ibm.biz/dojo-jp-qa