IBM Dojo #12 AI Advance: 公平で説明可能なAI / IBM Dojo AI Fairness Explainability 20200401

by Kyoko Nishito

Slide 1

Slide 1 text

IBM Dojo #12 AI Advance 公平で説明可能なAI Kyoko Nishito Developer Advocate Tokyo City Team

Slide 2

Slide 2 text

Kyoko Nishito ⻄⼾京⼦ IBM Developer Advocate KyokoNishito 2

Slide 3

Slide 3 text

タイムテーブル 14:00-14:05 (5min) オープニング資料ダウンロード,出席登録など 14:05-15:00 (55min) IBM Dojo #12 公平で説明可能なAI 15:00-15:15 (15min) Q&A クロージング 3

Slide 4

Slide 4 text

本⽇の資料本⽇の資料はこちらからPCにダウンロードお願いします。URLをクリックしたり、コマンドをコピペしたりできますので、サイトでみるのではなく、ダウンロードをお勧めします。(connpassの資料にもリンクあり) http://ibm.biz/dojo20200401doc 4

Slide 5

Slide 5 text

上記URLからIBM Cloudへのログインをお願いします。 http://ibm.biz/dojo0401 • IBM Cloud ログインアカウントをすでにお持ちの⽅は、こちらからログインしてください • IBM Cloud ライトアカウント作成アカウントをお持ちでない⽅は、ご登録をお願いします出席登録 5

Slide 6

Slide 6 text

学習の⽬的とゴール⽬的 AIの公平性、説明性の必要性を理解した上で、 Watson OpenScaleの概要を理解する。ゴール Watson OpenScaleで何ができるかを実際に体験するこのコースを学ぶ⽅の想定スキル機械学習の初⼼者レベルの知識がある⽅(Dojo#6 「 Auto AI を使ったらくらく機械学習」程度) 6

Slide 7

Slide 7 text

事前準備 1. IBM Cloudアカウント(無料)の取得 2. Webブラウザー Chrome または Firefoxの導⼊ 7

Slide 8

Slide 8 text

本⽇の内容 1. AIの課題 2. Watson OpenScale 3. チュートリアル 4. ワークショップ課題 5. まとめ 8

Slide 9

Slide 9 text

1. AIの課題 9

Slide 10

Slide 10 text

AIの判断、企業に説明責任? 引⽤元: 2018/11/26 ⽇本経済新聞電⼦版 https://www.nikkei.com/article/DGXMZO38186770W8A121C1MM8000/ オンライン資料のみ 10 引⽤元: 2018/11/26 ⽇本経済新聞電⼦版 https://www.nikkei.com/article/DGXMZO38186770W8A121C1MM8000/

Slide 11

Slide 11 text

⽇本政府が策定した「⼈間中⼼のAI社会原則」 6) 公平性、説明責任及び透明性の原則「AI-Readyな社会」においては、AIの利⽤によって、⼈々が、その⼈の持つ背景によって不当な差別を受けたり、⼈間の尊厳に照らして不当な扱いを受けたりすることがないように、公平性及び透明性のある意思決定とその結果に対する説明責任(アカウンタビリティ)が適切に確保されると共に、技術に対する信頼性(Trust)が担保される必要がある。・AIの設計思想の下において、⼈々がその⼈種、性別、国籍、年齢、政治的信念、宗教等の多様なバックグラウンドを理由に不当な差別をされることなく、全ての⼈々が公平に扱われなければならない。・AIを利⽤しているという事実、AIに利⽤されるデータの取得⽅法や使⽤⽅法、AIの動作結果の適切性を担保する仕組みなど、⽤途や状況に応じた適切な説明が得られなければならない。引用元:人間中心のAI社会原則 https://www8.cao.go.jp/cstp/aigensoku.pdf 今後、AIには公平性や説明性が求めらてくることが予想される 11

Slide 12

Slide 12 text

AIの信頼性につながるAIの説明性・公平性とは? 12

Slide 13

Slide 13 text

AIの説明性 13

Slide 14

Slide 14 text

Explainable AI (説明可能なAI) アンサンブルニューラルネット深層学習回帰(⼀次関数) 決定⽊わかりやすい (whitebox) わかりにくい (blackbox) 精度が低い精度が⾼いモデルの精度（正解率の⾼さ)と「わかりやすさ」はトレードオフの関係 -> ⾼い精度を保ちつつ説明性を担保する⽅法はないのか︖ 14

Slide 15

Slide 15 text

説明性(Explainability) 想定シナリオ顧客に対する与信判断(融資を実施するかどうか)をする機械学習モデルを作ったとします。顧客窓⼝担当者融資の申請を認められないという話だが、何が原因なのか︖︖︖︖ 当社の与信判断モデルは⾮常に精度が⾼いのですが、あいにくブラックボックスで理由はわからないのです。。。。説明不可能なAI 15

Slide 16

Slide 16 text

説明性(Explainability) 顧客窓⼝担当者融資の申請を認められないという話だが、何が原因なのか︖︖︖︖ お客様の融資が却下された⼀番の理由は年収で、寄与度は60%です。次の理由は年齢で、寄与度は20% になります。前ページのようなやりとりが起きた場合、今回説明するOpenScaleがあるとこのように説明が可能です。説明可能なAI 16

Slide 17

Slide 17 text

AIの公平性 17

Slide 18

Slide 18 text

「AIの公平性」の問題 • 被告の再犯可能性を予測するAIシステム「Compas」 • ⽶国で実際に本番利⽤されている機械学習モデル • 137問の質問への回答を⼊⼒に、再び犯罪を犯す危険性を10段階の点数として算出 • 調査報道サイト「プロパブリカ」により、以下の調査結果が判明し⼤きな社会問題となりました。出典: https://kaztaira.wordpress.com/2018/09/22/ａｉのバイアス問題、求められる「公平」とは何/ 偽陽性 (再犯の疑いありの判定で実際には再犯なし) 偽陰性 (再犯の疑いなしの判定で実際には再犯あり) ⽩⼈ 23.5% 47.7% ⿊⼈ 44.9% 28.0% 18

Slide 19

Slide 19 text

「AIの公平性」の問題出典: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing 陽性（再犯の疑いありの判定で実際に再犯) ⽩⼈ 67% ⿊⼈ 69% 19

Slide 20

Slide 20 text

AI 採⽤ツール: ジェンダーバイアスを学習最近廃⽌されたAmazonの採⽤ツール • Amazonのモデルは、応募者を審査するために10年以上にわたって提出された履歴書のパターンを分析して学習 • 履歴書は、主に採⽤決定により男性からのもの 20 • 男性候補者の⽅が望ましい結果。 • 「⼥性のチェスクラブキャプテン」などの「⼥性」という⾔葉を含む履歴書に低い点数しか与えないというルールを作成。 • 多くの⼥⼦⼤の卒業⽣を評価を下げた。 Amazonはバイアスを取り除こうしたが、複雑さのためにできず、ツールを廃⽌。

Slide 21

Slide 21 text

公正な割合?: CEOという単語をGoogleで画像検索 • ある研究者は︓CEOという単語をGoogleで検索したときにバイアス(偏⾒)を⾒つけました。 • その時CEOのトップ画像結果のわずか11％が⼥性 • 当時実際には⽶国のCEOの27％が⼥性でした。 • アルゴリズムが⽰すべき⼥性CEOの「公平な」割合をどのように決定すべきか??? • 現在の⼥性CEOの割合27％︖ • 現実⽐ではないが「公正」な数値を50％にすべき? → 組織およびユースケースごと状況に応じて何が公正なのかをを定義する必要があります。 21 21

Slide 22

Slide 22 text

アルゴリズムは公平か︖ アルゴリズムは公平ではなく、作成者の意図やバイアスが紛れ込む l アルゴリズムは過去の⾏為や⾏動パターンを繰りかえし、⾃動的に現状を維持するだけ l 判定の最適化とは、過去データの特徴からセグメントを抽出した後に、判定対象を特定のセグメントに分類すること • セグメントの境界を決める重要な特徴データ以外の個々⼈の属性や事情は考慮されない l バイアスが紛れ込む要因の例 • 過去のデータ(実績)の偏り • データの選択を⾏うのは⼈間 • 有効かもしれないが存在しないデータ • 代理データを無意識に利⽤ • 成功要因を恣意的に設定 22

Slide 23

Slide 23 text

ほとんどのバイアスは⾃分が準備したデータが原因過剰または過少サンプリング, ラベル & ユーザー⽣成バイアス肌の⾊が薄い男性の場合 99%の正確度肌の⾊が暗い⼥性の場合 65%の正確度 MIT Study of Top Face Recognition Services 23

Slide 24

Slide 24 text

保護属性(性別や⼈種など)を削除すればよいのでは︖ • 保護属性（性別、⼈種）を単に削除することはできません。他の特徴量もそれらと相関しています。 • 例:郵便番号を使⽤すると、個⼈の⼈種や収⼊で分類できます 1977年のブルックリンニューヨークの地図では、銀⾏はレッドライニングと呼ばれるものを使⽤して、潜在顧客を郵便番号で区別していました。レッドライニングは、異なる⺠族に基づいて地域に異なる額のクレジットを提供する貸し⼿の差別的な慣⾏です。 24 24

Slide 25

Slide 25 text

IBMの取り組み • 2017年 Corporate Responsibility Report 最初の項⽬にTrust and transparencyがあり、AIに関する責任性に⾔及 • 2018年9⽉21⽇「AI倫理のためのガイド」出典 https://www.ibm.com/blogs/think/jp-ja/everyday-ethics-for-artificial-intelligence/ 25

Slide 26

Slide 26 text

IBMの取り組み IBMでは以上の全社的な⽅針を受けて、次の2つの製品・サービスを提供しています。 Watson OpenScale • Watson StudioやWatson Machine Learningと同じIBMクラウド上のサービス。ただし、他のサービスと異なり、他社AIも管理対象に含む。 AI Fairness 360 / AI Explainability 360 • Python APIをOSSとして公開。 • ライブラリだけでなく、API Reference、チュートリアル、デモアプリなども⼀般に利⽤可能。 • ユーザーは⾃分でPythonコーディングを⾏うことが前提。 • AIF360: http://aif360.mybluemix.net/ 26

Slide 27

Slide 27 text

OpenScaleとAIF360 OpenScaleとAIF360/AIX360の⽬的・役割・対象などを整理すると次のようになります。 Watson OpenScale AIF360/AIX360 位置付け商⽤製品/商⽤サービスオープンソース想定ユーザー企業ユーザーデータサイエンティスト研究者、開発者提供形態 ICP, IBM Cloud、他社クラウド Pythonライブラリーとツールの集合利⽤フェーズモデル実⾏/運⽤時モデル開発時提供機能説明性 ○ ○ (AIX360) 公平性 ○ ○ (AIF360) 正確性(精度) ○ - 27

Slide 28

Slide 28 text

2. Watson OpenScale 28

Slide 29

Slide 29 text

Watson OpenScaleの特徴 Watson OpenScaleのハイレベルな特徴として以下のことがあげられます。 Open (オープン): 代表的な機械学習・深層学習フレームワーク・他社AIサービス(MS Azureと Amazon Sagemaker)を管理対象とすることが可能。 Scale (拡張性): パブリック、プライベート、ハイブリッド・クラウド、どの環境でも提供可能。 Explainability (説明性): AIモデルの評価結果において、その判断理由を説明。 Fairness (公平性): AIモデルの導出した結果の公平性をチェックし、是正する。 29

Slide 30

Slide 30 text

Watson OpenScaleの主要機能 Payload Logging機能がベースの機能となっています。 Payload Loggingを使って説明性(Explainability) と公平性(Fairness) を実現しています。それぞれの拡張機能としてContrastive ExplanationとBias mitigationがあります。それ以外にモニタリング機能や、ドリフト・モニタリング機能がなどがあります。 Payload Logging 説明性 (Explainability) 公平性 (Fairness) Contrastive Explanation Bias mitigation ・Monitoring ・Performance ・Drift monitoring Watson OpenScale 主要機能 30

Slide 31

Slide 31 text

2. Watson OpenScale ここでちょっとハンズオン準備 31 P.62「3.チュートリアル」の3番までここで準備しておきます 1. IBM Cloudへのログイン 2. Watson OpenScaleサービスの作成・起動 3. ⾃動セットアップの実施（しばし待ち時間）

Slide 32

Slide 32 text

2. Watson OpenScale 2-1. ダッシュボード 32

Slide 33

Slide 33 text

OpenScale ダッシュボード以下にOpenScaleのダッシュボード画⾯例を⽰します。 2019年7⽉の新機能で画⾯が⼤きく変わりました。新しいダッシュボードでは、画⾯左のメニュー選択で、画⾯を直感的に切り替えることができます。公平性 Sex を指定 33

Slide 34

Slide 34 text

2. Watson OpenScale 2-2. payload logging 34

Slide 35

Slide 35 text

Payload Logging Payload Loggingとは、管理対象の機械学習モデルに対する呼出し時の⼊⼒データ、出⼒結果をタイムスタンプとユニークID(scoring_id)とともにDBに⾃動的に記録する機能です。 OpenScaleの主要機能である説明性と公正性は、Payload Loggingにより記録されたデータの分析を出発点に実現されています。 35

Slide 36

Slide 36 text

Payload Logging (Watson MLの場合) Watson ML上に登録されたモデルに対してPayload Loggingを⾏う場合は、 OpenScale側で管理対象の指定をするだけで⾃動的に記録されます。この場合、アプリ側の改修は不要です。 Watson Machine Learning deployment Application API Call OpenScale Payload 36

Slide 37

Slide 37 text

Payload Logging (他社 MLの場合) MS AzureやAmazon Sagemakerなどの他社APIの場合は、アプリケーションはモデルのAPIを呼び出した後で、⼊⼒データとその結果を引数に、OpenScale側で⽤意したPayload Logging APIを呼び出すようにします。他社 Machine Learning Application API Call OpenScale Payload Payload Logging API 37

Slide 38

Slide 38 text

Slide 39

Slide 39 text

説明性(Explainability) 顧客窓⼝担当者融資の申請を認められないという話だが、何が原因なのか︖︖︖︖ お客様の融資が却下された⼀番の理由は年収で、寄与度は60%です。次の理由は年齢で、寄与度は20% になります。 OpenScaleがあると。。前ページのようなやりとりが起きた場合、OpenScaleがあるとこのように説明が可能です。 39

Slide 40

Slide 40 text

説明性(Explainability) 顧客窓⼝担当者年収が⾜りないのはわかったが、いくらあればよかたのか︖ お客様の場合、年収があと200万円あれば、当⾏でも融資できます。説明性の拡張機能(Contrastive Explanation) 説明性の拡張機能まで使うと、次のような突っ込んだやりとりにも対応可能です。 40

Slide 41

Slide 41 text

説明性(Explainability) Explainability(説明性)とは、機械学習モデルが特定のトランサクションに対してなぜその結論に達したかの説明を⼊⼒項⽬ごとの寄与率で⽰す機能です。 Positiveな要因の項⽬別寄与度 -> OpenScaleの分析結果 Negativeな要因の項⽬別寄与度 -> OpenScaleの分析結果最終的な機械学習モデルの結論と確信度 -> モデルからわかる情報 41

Slide 42

Slide 42 text

説明性(Explainability) 説明性(Explainability)機能の実現⽅法 LIME(Local Interpretable Model-agnostic Explanations)という⽅法をベースにしています。・特定の機械学習の結果を解析したい場合、その近傍の⼊⼒データで出⼒がどうなるかを調べます。・集まったデータを使って、モデルを局所的に近似する簡易モデルを作ります。・簡易モデルは構造が簡単なため、寄与度を求めることが可能です。このアプローチであれば、対象が深層学習モデルのような複雑なモデルでも解析可能になります。出典: https://arxiv.org/abs/1602.04938 ⼊⼒変数1の値⼊⼒変数2の値 ① 調査対象のトランザクション ② 調査対象の近傍値での予測結果を調べる ③ 境界線(正確にはN-1次元超平⾯)の垂線を求める 42

Slide 43

Slide 43 text

説明性の拡張機能 (Contrastive Explanation) 定型データが⼊⼒のモデルの場合、Explainabilityの画⾯上部にはIBM独⾃の拡張機能であるContrastive Explanationによる結果が出⼒されています。⼊⼒値がいくつだったら判断結果が変わっていたか。判断結果が今と同じになるぎりぎりの値。 43

Slide 44

Slide 44 text

2. Watson OpenScale 2-3. 公平性(Fairness) 44

Slide 45

Slide 45 text

公平性バイアス検知 OpenScaleを利⽤した公平性バイアス検知の利⽤シナリオは、以下のとおりです。この中で特に重要なのは「監視対象項⽬の決定」で、会社のポリシーなどに基づき、⼈間が決定します。OpenScaleは、決められたポリシーが守られているかを監視する役割を持ちます。監視対象モデルの決定監視対象項⽬の決定 (例性別、⼈種、年収etc) OpenScaleでの設定公正性閾値の決定 OpenScaleでのモニタリングアラート通知 45

Slide 46

Slide 46 text

公平性バイアス検知ダッシュボードから、時系列でバイアスの変化が確認できます。スコアが閾値を下回るとアラートが表⽰されます。閾値 (事前設定する) アラート表⽰グラフ上をクリックすると詳細表⽰画⾯ 46

Slide 47

Slide 47 text

公平性バイアス検知の⽅法 perturbation analysis ⼊⼒データのバリエーションを増やす監視対象モデル Payloadだけではデータが不⾜している場合、OpenScaleは⼊⼒データのバリエーションを増やし(perturbation analysis)、それぞれの結果を⾒ることで、バイアスの有無を検知します。 payloadから取得した記録増やしたデータに関して、モデルを呼び出し結果を調べる結果を統計的に処理してバイアスの有無を判断 47

Slide 48

Slide 48 text

48 公平性バイアス検知の⽅法摂動データも加えた後に、モデルの判断結果の偏りが事前設定した閾値を超えた場合、バイアスがあるとOpenScaleは判断します。オリジナルの記録データ(ペイロード) 公平性確認のため⽔増しデータ(摂動)を加えた結果「バイアスあり」の表⽰ 48

Slide 49

Slide 49 text

公平性(Fairness) 緩和機能 OpenScaleはバイアスのチェックを⾏うだけでなく、⾃動的にバイアスを緩和する機能を持っています。ラジオボタンを「バイアス緩和済み」に切り替えると、緩和モデルであればどのような出⼒になっていたかの状況を表⽰できます。 49

Slide 50

Slide 50 text

公平性バイアス緩和の⽅法 perturbation analysis ⼊⼒データのバリエーションを増やす監視対象モデル OpenScaleはバイアス緩和のため、「バイアス検知モデル」を内部に作ります。バイアスの発⽣する危険のある⼊⼒データかどうかをこのモデルで判断し、その結果によりバイアス緩和を⾏います。 payloadから取得した記録バイアス検知モデル (OpenScale内部) 公平不公平増やしたデータに関して、モデルを呼び出し結果を調べるバイアスが発⽣するかしないかを判断するモデルを⽣成 50

Slide 51

Slide 51 text

バイアス緩和 (アプリ側の修正) アプリケーションでOpenScaleのバイアス緩和出⼒を、オリジナルのモデルの代わりに利⽤する場合は、Machine Learning呼出し⽤のURLをOpenScale提供のエンドポイントURLに変更します。これはWatson Machine Learningの場合も、AzureやSagemakerなど他社MLの場合でも同じです。 Machine Learning Application API Call OpenScale Payload de-biased endpoint 51

Slide 52

Slide 52 text

公平性(Fairness) 設定⼿順設定⼿順は、説明性の時同様に簡単で、機械学習モデルに関する知識は不要です。ただし、どの項⽬を公平性の対象にするかはユーザーが指定する必要があります。⼊⼒(設定項⽬) ・モニタ対象属性 (例性別) ・有利なグループ (例男性)、不利なグループ (例⼥性) ・⽬的変数 (例融資リスク有無) ・有利な結果 (例リスクなし) ・不利な結果 (例リスクあり) 52

Slide 53

Slide 53 text

2. Watson OpenScale 2-4.モニタリング機能 53

Slide 54

Slide 54 text

モニタリング機能最新版のOpenScaleではモニタリング機能も強化されました。精度評価で使われる様々な指標値で、精度の推移をグラフ化できます。表⽰可能な指標値モニタリング結果 54

Slide 55

Slide 55 text

2. Watson OpenScale 2-5.ドリフト・モニタリング機能 55

Slide 56

Slide 56 text

ドリフト・モニタリング機能ドリフト・モニタリング機能とは学習時とデータの傾向に違いがないかチェックする機能で、傾向の違いが激しい場合、再学習をした⽅が望ましいことがあります。この場合もグラフ上の点をクリックすると詳細画⾯に遷移します。ダッシュボード上のドリフト表⽰ドリフトの⼤きな点をクリックすると詳細画⾯に遷移する 56

Slide 57

Slide 57 text

ドリフト・モニタリング機能詳細画⾯から、どのデータグループが、精度に影響を与えたかを表⽰できます。特定のデータグループをトランザクション単位で詳しく調べることも可能です。 (次ページ) ドリフト表⽰の詳細表⽰ 57

Slide 58

Slide 58 text

ドリフト・モニタリング機能詳細画⾯から、どのデータグループが、精度に影響を与えたかを表⽰できます。更に個別のトランザクション単位で説明性機能を呼び出して、より詳細は原因調査を⾏うこともできます。ドリフト表⽰の詳細表⽰精度低下とデータ不整合が起きた理由の説明推奨される対策ここをクリックするとこのトランザクションの説明性を解析する

Slide 59

Slide 59 text

2. Watson OpenScale 2-6. 製品仕様 59 59

Slide 60

Slide 60 text

説明性・公平性サポート対象モデル説明性と公平性は、管理対象がどのような種類のモデルかにより、対応の有無が異なります。現在のサポート状況を整理すると、下の表のようになります。モデル種別対象データ説明性公平性公平性緩和精度分類構造データ Yes Yes Yes ※ Yes 回帰構造データ Yes Yes No Yes 分類テキスト Yes No No No 分類イメージ Yes No No No ※ モデルが確率値を返すタイプのものである必要があります。

Slide 61

Slide 61 text

説明性・公平性サポート対象フレームワーク説明性・公平性は、フレームワークによってもサポートの有無が違ってきます。最新の状況については、下記リンク先を参照してください。 WML Azure ML Studio AWS SageMaker Custom/Python function 分類構造データ Apache Spark Mllib Python function XGBoost scikit-learn Native Native WMLと同じ回帰構造データ Python function XGBoost scikit-learn n/a n/a n/a 分類テキスト Keras with TensorFlow(※1) n/a n/a n/a 分類イメージ Keras with TensorFlow(※1) n/a n/a n/a 参照: https://cloud.ibm.com/docs/services/ai-openscale?topic=ai-openscale-frmwrks-wml&locale=ja WMLのAutoAIモデルはICP4Dのみサポートされています。Cloud版はサポートされていません。 61

Slide 62

Slide 62 text

3. チュートリアル 62

Slide 63

Slide 63 text

⾃動セットアップのチュートリアルを体験 Watson OpenScale でモデルがどのようにモニターされるかを簡単に確認するために、最初に Watson OpenScale UI にログインした際に提供されているデモ・シナリオ・オプションを⼀緒に体験してみます。この内容は製品のチュートリアル「⼊⾨チュートリアル (⾃動セットアップ) 」と同じ内容です。 https://cloud.ibm.com/docs/services/ai-openscale?topic=ai-openscale- gettingstarted 63

Slide 64

Slide 64 text

⾃動セットアップのチュートリアルの概要⾃動セットアップはデモ⽤のセットアップ(設定、デモデータのロード等)を⾃動で⾏い、実際にWatson OpenScaleで何ができるのかを体験することができます。以下の順序で実施します︓ 1. IBM Cloudへのログイン 2. Watson OpenScaleサービスの作成・起動 3. ⾃動セットアップの実施（しばし待ち時間） 4. Watson OpenScaleを体験(モデル・モニターでのインサイト表⽰) 64

Slide 65

Slide 65 text

http://ibm.biz/dojo0401にアクセスしてログインしてください。すでに最初の出席登録でログイン済みの場合は、ログイン不要です。ログイン後のダッシュボードが表⽰されている画⾯を表⽰させておいてください。 • IBM Cloud ログインアカウントをすでにお持ちの方は、こちらからログインしてください • IBM Cloud ライトアカウント作成アカウントをお持ちでない方は、ご登録をお願いします本イベント以外では https://cloud.ibm.com/login からログイン可能です 1. IBM Cloudへのログイン 65

Slide 66

Slide 66 text

2. Watson OpenScaleサービスの作成・起動 2-1. 「カタログ」をクリック 66

Slide 67

Slide 67 text

2-2. カテゴリ「AI」→下スクロール→Watson OpenScaleをクリックスクロール 67

Slide 68

Slide 68 text

2-3. 地域の選択「ダラス」、プラン「ライト」が選択されていることを確認して「作成」をクリック 68

Slide 69

Slide 69 text

2-4. Watson OpenScaleの以下の画⾯が表⽰されたら、左のメニューから「管理」をクリック 69

Slide 70

Slide 70 text

2-5. 「アプリケーションの起動」をクリックしてWatson OpenScaleのダッシュボードを起動します。 70

Slide 71

Slide 71 text

3.⾃動セットアップの実施 3-1. 「⾃動セットアップ」をクリック(約10分かかります) ここに進⾏業況が表⽰されます71

Slide 72

Slide 72 text

10分休憩とします︓ XX:XXまで. ここに進⾏業況が表⽰されますこれが表⽰されたら準備完了! 3-2. 設定完了まで待ちます 72

Slide 73

Slide 73 text

3-3. 「始めましょう」をクリックして、ガイドの開始 73

Slide 74

Slide 74 text

4. .Watson OpenScaleを体験 4-1. Watson OpenScale ダッシュボードのツアーが開始されますので、[次へ]をクリックしながら解説読み進めます。 74

Slide 75

Slide 75 text

4-2. 最後に「次のツアー」が表⽰されますので、解説を読み終わったらクリックしまします。 75

Slide 76

Slide 76 text

4-3. '信⽤リスク(Credit Risk) モデル' のシナリオとモデルの評価の詳細を「Next」をクリックして確認していきます。 76

Slide 77

Slide 77 text

4-4. シナリオの説明︓信⽤リスクのシナリオ " ⼤規模な⾦融サービス会社の融資マネージャーとして、より多くのお客様への融資提供を拡⼤することに関⼼があります。費⽤のかかる貸出ミスを回避するために、このマネージャーの組織はモデルを展開して、各融資申請のリスクレベルを予測しました。" シナリオを確認したら[Next]をクリック 77

Slide 78

Slide 78 text

4-5. シナリオの説明︓信⽤リスクのシナリオ "信頼と透明性ツアーに参加して、どのようにWatson OpenScaleがモデルが公正で正確なリコメンデーションを提供しているか判断する⼿助けをしているのか理解しましょう" 内容を確認したら[Let's go]をクリック 78

Slide 79

Slide 79 text

4-6. 公平性の評価の確認最後に「次のツアー」が表⽰されますので、解説を読み終わったらクリックしまします。 79

Slide 80

Slide 80 text

4-7. トランザクションレベルで公平性の確認 1/4 ペイロードト摂動済み、好ましい結果の⽐率 80

Slide 81

Slide 81 text

4-7. トランザクションレベルで公平性の確認 2/4 ペイロード、訓練データ 81

Slide 82

Slide 82 text

4-7. トランザクションレベルで公平性の確認 3/4 バイアス緩和済み 82

Slide 83

Slide 83 text

4-7. トランザクションレベルで公平性の確認 1/4 [次のツアー]でトランザクションの表⽰ 83

Slide 84

Slide 84 text

4-8. トランザクションすべてのトランザクション、バイアスのあるトランザクション 84

Slide 85

Slide 85 text

4-9. トランザクションの説明最後に「次のツアー」が表⽰されますので、解説を読み終わったらクリックしまします。 85

Slide 86

Slide 86 text

4-10. ドリフトモニター 1/2 86

Slide 87

Slide 87 text

4-10. ドリフトモニター 2/2 最後に「次のツアー」が表⽰されますので、解説を読み終わったらクリックしまします。 87

Slide 88

Slide 88 text

4-11. ドリフトの原因となっているトラザクションの表⽰最後に「次のツアー」が表⽰されますので、解説を読み終わったらクリックしまします。 88

Slide 89

Slide 89 text

4-12. ドリフトの原因となっているトラザクションの詳細表⽰最後に「Done」が表⽰されますので、解説を読み終わったらクリックしまします。 89

Slide 90

Slide 90 text

4-13. これでチュートリアルは終了です。「終了」をクリックして終了します。その後もチュートリアルと同じことができますので、いろいろ触ってみてください。 90

Slide 91

Slide 91 text

4. ワークショップ課題 91

Slide 92

Slide 92 text

実際にモデルを登録してWatson OpenScale を使うには、、、、実際にモデルを登録してWatson OpenScaleを使うには、pythonでSDKを使ってcodeを書いて実⾏しての設定が通常必要です。 • Watson Machine Learningのモデルを使う場合は、モデル登録にpythonでの登録が必要です。 • AutoMLなど他社のモデルを使う場合は、ペイロードロギング等に通常は何かしらのCodeの実⾏が必要です。 • もちろん⼀部はGUIで実施可能です。このワークショップ課題にはpythonを使⽤します。実⾏環境はIBM CloudのWatson Studioを使います。

Slide 93

Slide 93 text

Python SDK チュートリアル製品のチュートリアル「 Python SDK チュートリアル (上級)」にトライしてみましょう。 https://cloud.ibm.com/docs/services/ai-openscale?topic=ai-openscale-crt- ov&locale=ja 次のページでポイントの説明があります。

Slide 94

Slide 94 text

Python SDK チュートリアル: ポイント • IBM® Watson OpenScale サービスのプロビジョンは既にやっているので不要。 • (オプション) Databases for PostgreSQL サービスまたは DB2 Warehouse サービスのプロビジョンは有料のサービスが必要なためとりあえずやらなくともOK • Machine Learningモデルの作成とデプロイの Working with Watson Machine Learning ノートブックを Watson Studio プロジェクトに追加するはnotebookの内容が英語のため、⽇本語に翻訳したものを使⽤したい場合は次ページからの⼿順に従ってください。

Slide 95

Slide 95 text

Python SDK チュートリアル: 代替⼿順 Machine Learningモデルの作成とデプロイの Working with Watson Machine Learning ノートブックを Watson Studio プロジェクトに追加する notebook⽇本語版追加⼿順 1. 上のメニューからプロジェクトに追加をクリックします。

Slide 96

Slide 96 text

3. FromURLタブをクリックして、以下を⼊⼒し、[Create]をクリック: Name: 適当な名前。下の例は「Watson OpenScale and Watson ML Engine」 Select runtime: Default Spark Python 3.6 Notebook URL: https://github.com/kyokonishito/ai-openscale- tutorials/blob/ja_translation/notebooks/Watson%20OpenScale%20and%20Wat son%20ML%20Engine-ja.ipynb 以上です

Slide 97

Slide 97 text

2. 表⽰されたChoose asset typeから「Notebook」をクリックします。

Slide 98

Slide 98 text

まとめ • AIの実⽤化には公平性や説明性が重要な課題となってきている • IBM Watson OpenScaleは公平性の分析、不公平なバイアスの軽減、説明性の実現が可能となる 98

Slide 99

Slide 99 text

IBM Code Patterns https://ibm.biz/ibmcodejp 解説 + デモ動画 + ソースコードが揃ったアプリ開発パターン集

Slide 100

Slide 100 text

開発者向けサイト IBM Developer https://ibm.biz/IBMDevJP 最新情報やスキルアップに役⽴つ6,000を超える技術記事を提供

Slide 101

Slide 101 text

101

Slide 102

Slide 102 text

補⾜: IBMのAIソリューション全体像

Slide 103

Slide 103 text

IBM AI ソリューション全体像 (Watson Anywhere) Think2019でIBMは「Watson Anywhere」というコンセプトを提唱しました。オープンを前提とした仮想化技術、クラウドサービス、ハードウェア製品、基礎研究などIBMの総合⼒を発揮して「いつでもどこでも使えるＡＩ」の提供を⽬指します。オンプレミス IBM Cloud 他社Cloud Power AI Intel ESS (Storage) ACC922 (Server) Watson ML Community Edition Watson ML Accelerator PowerAI Vision H2O Driverless AI OpenShift Watson Knowledge Catalog Watson ML Watson Studio Watson OpenScale Watson API OpenShift Watson Knowledge Catalog Watson ML Watson Studio Watson OpenScale Watson API Watson Knowledge Catalog Watson Machine Learning Watson Studio Watson OpenScale Watson API Cloud Foundry Storage / Database GPU ※ ※ ※ OpenShiftのWatsonサービスに関しては⼀部未対応の機能があります。

Slide 104

Slide 104 text

Watson OpenScaleの位置付け Watson OpenScaleは従来のWatson Studio / Machine Learningを補う形で運⽤局⾯をサポートするサービスです。 Watson API Visual Recognition (画像) Speech to Text (⾳声認識) Text to Speech (⾳声合成) NLC (⾃然⾔語分類) NLU(⾃然⾔語理解) Discovery(AI検索エンジン) Assistant(チャットボット) 等 Language Translator (翻訳) Watson Studio (モデル開発環境) AutoAI (モデル⾃動構築ツール) Neural Network Designer (深層学習モデル構築ツール) Experiments Builder (GPU学習環境) SPSS Modeler Flow (機械学習モデル構築ツール) Jupyter Notebook R Studio Watson Knowledge Catalog(データ基盤) 接続情報・テーブル登録アクセス管理データ整形マスキング Lineage(世代管理)等 Watson Machine Learning (モデル実⾏環境) Web Service化 CLS (継続学習システム) GPU 対応FW・ライブラリ sckit-learn SPSS Spark Mlib XGBoost Tensorflow Keras PyTorch Caffe Watson OpenScale (モデル運⽤環境) 説明性公平性正確性呼出しログ性能 NeuNetS(深層モデル⾃動構築) 事前構築済みモデルカスタムモデル開発 Knowledge Studio (カスタム学習によるアノテーション) AutoAI(機械学習モデル⾃動構築)