AI Advance: 公平で説明可能なAI / WatsonOpenScale

Slide 1

Slide 1 text

Extra Dojo #12 !"#!$%&'()*#+,-./012!" Aya Tokura Developer Advocate Tokyo City Team 2020/08/24

Slide 2

Slide 2 text

@ayatokura 34567895:;"<=#>?@#A)%)BCD)?#!$%C(&E);FGH IJKLMNOPQRSTUVWXTYZ[\]^_` abcdeNfghMijkLlmnopq]rsH tuvwAya Tokurax Sr. Developer Advocate IBM yz{L|}~;ÄsÅÇ 2

Slide 3

Slide 3 text

新しい取り組み“バッジ取得プログラム”のご案内 IBM Cloud & AI develop Basic Online Developer Dojo ” IBM Cloud & AI develop Basic Online Developer badge“について - 2020年6⽉1⽇より開始のIBM Developer Dojo 12回シリーズと同様の内容のIBM Developer Dojoのクラスが対象 https://www.ibm.com/jp-ja/partnerworld/events/developer-dojo - スキルアップのため全クラスの受講をお奨めします。 - 12回のクラスのうちPAYGアカウントまたはサブスクリプションが必要としない8つのクラスの課題を実施 - 8クラスのうち5クラスの課題について指定された結果を⾃分のアカウントが⾒えるようにスクリーンショットを撮影 - 5クラス分の課題のスクリーンショットをPDFにして以下の宛先に送付 - 提出した課題が承認されるとAcclaimからバッジが発⾏されます。 ※バッジ発⾏のためにこれ以外の処理が発⽣する場合、別途ご連絡させていただきます 2020年6⽉1⽇お問い合わせは、Online Developer Dojo バッジ事務局（ビジネス・パートナープログラムヘルプデスク [email protected] ） 3

Slide 4

Slide 4 text

タイムテーブル 14:00-14:05 (5min) オープニング資料ダウンロード、出席登録など 14:05-15:00 (55min) IBM Extra Dojo #12 AI Advance: 公平で説明可能なAI 15:00-15:15 (15min) Q&A クロージング

Slide 5

Slide 5 text

本⽇の資料本⽇の資料は下記サイトで公開しております。必要に応じてダウンロードお願いします。 (connpassイベントページ上の[資料]欄にリンクあり) http://ibm.biz/dojo0824doc 5

Slide 6

Slide 6 text

!"#$%&'( IBM Cloud )*+,-.'/0URL123456789 ibm.biz/dojo0824 ! IBM Cloud :;"$ +<=$%>?&@ABC*D'( EC212:;"$F56789 ! IBM Cloud G"%+<=$%HI +<=$%>ABC&J9D'( KLM>AN9FO? ´ï:m}°ÖP

Slide 7

Slide 7 text

学習の⽬的とゴール⽬的 AIの公平性、説明性の必要性を理解した上で、 Watson OpenScaleの概要を理解するゴール Watson OpenScaleで何ができるかを実際に体験するこのコースを学ぶ⽅の想定スキル機械学習の初⼼者レベルの知識がある⽅ 7

Slide 8

Slide 8 text

⽬次 1. AIの課題とIBMの取り組み 2. IBM Watson OpenScale ご紹介 3. チュートリアルツアー体験 4. おすすめ情報 8

Slide 9

Slide 9 text

1. !"m—“ 9

Slide 10

Slide 10 text

⽇本政府が策定した「⼈間中⼼のAI社会原則」 6) 公平性、説明責任及び透明性の原則「AI-Readyな社会」においては、AIの利⽤によって、⼈々が、その⼈の持つ背景によって不当な差別を受けたり、⼈間の尊厳に照らして不当な扱いを受けたりすることがないように、公平性及び透明性のある意思決定とその結果に対する説明責任(アカウンタビリティ)が適切に確保されると共に、技術に対する信頼性(Trust)が担保される必要がある。・AIの設計思想の下において、⼈々がその⼈種、性別、国籍、年齢、政治的信念、宗教等の多様なバックグラウンドを理由に不当な差別をされることなく、全ての⼈々が公平に扱われなければならない。・AIを利⽤しているという事実、AIに利⽤されるデータの取得⽅法や使⽤⽅法、AIの動作結果の適切性を担保する仕組みなど、⽤途や状況に応じた適切な説明が得られなければならない。引用元:人間中心のAI社会原則 https://www8.cao.go.jp/cstp/aigensoku.pdf 今後、AIには公平性や説明性が求めらてくることが予想される 10

Slide 11

Slide 11 text

AIの信頼性につながるAIの説明性・公平性とは? 11

Slide 12

Slide 12 text

EFäãIåRIçãTDOA éXYZ[?OAè ◊PöPhl W÷LbleFQ XY¨≠ Z[ë\–]^î $∆_ KªáMúÖ ë`aìE)bCcî Kªá;IÖ ëbB&(dbCcî efπgÖ efπhÖ iNlmefwj¥kmh.î∞„KªáMú.È|QÕLdlym]m ‰n#hÖef]-oÚÚ./≤]5-ú∑ƒP|2Ömªp 12

Slide 13

Slide 13 text

説明性 (Explainability) 想定シナリオ顧客に対する与信判断(融資を実施するかどうか)をする機械学習モデルを作ったとします。顧客窓⼝担当者融資の申請を認められないという話だが、何が原因なのか︖︖︖︖ 当社の与信判断モデルは⾮常に精度が⾼いのですが、あいにくブラックボックスで理由はわからないのです… 説明不可能なAI 13

Slide 14

Slide 14 text

説明性(Explainability) 顧客窓⼝担当者融資の申請を認められないという話だが、何が原因なのか︖︖︖︖ お客様の融資が却下された⼀番の理由は年収で、寄与度は60%です。次の理由は年齢で、寄与度は 20%になります。前ページのようなやりとりが起きた場合、今回説明するWatson OpenScaleがあるとこのように説明が可能になります。説明可能なAI 14

Slide 15

Slide 15 text

AIの公平性 15

Slide 16

Slide 16 text

「AIの公平性」の問題 • 被告の再犯可能性を予測するAIシステム「Compas」 • ⽶国で実際に本番利⽤されている機械学習モデル • 137問の質問への回答を⼊⼒に、再び犯罪を犯す危険性を10段階の点数として算出 • 調査報道サイト「プロパブリカ」により、以下の調査結果が判明し⼤きな社会問題となりました。出典: https://kaztaira.wordpress.com/2018/09/22/ａｉのバイアス問題、求められる「公平」とは何/ 偽陽性 (再犯の疑いありの判定で実際には再犯なし) 偽陰性 (再犯の疑いなしの判定で実際には再犯あり) ⽩⼈ 23.5% 47.7% ⿊⼈ 44.9% 28.0% 16

Slide 17

Slide 17 text

アルゴリズムは公平か︖ アルゴリズムは公平ではなく、作成者の意図やバイアスが紛れ込む l アルゴリズムは過去の⾏為や⾏動パターンを繰りかえし、⾃動的に現状を維持するだけ l 判定の最適化とは、過去データの特徴からセグメントを抽出した後に、判定対象を特定のセグメントに分類すること • セグメントの境界を決める重要な特徴データ以外の個々⼈の属性や事情は考慮されない l バイアスが紛れ込む要因の例 • 過去のデータ(実績)の偏り • データの選択を⾏うのは⼈間 • 有効かもしれないが存在しないデータ • 代理データを無意識に利⽤ • 成功要因を恣意的に設定 17

Slide 18

Slide 18 text

ABCm$ø¿¡ é+è ! 345ô7 îKHäKHIGTD¬TñäKRñåçåãåGêD¬TäKHG ø m„Æ;√HƒñGDIRPDGHIRñäIHTRSêπ™áT!";]ú∑‹›≤;‰ﬁ ! 34567´935:„OA≈∆mgzm«∫9È ß® aEED¢*©©```@ìbí@(Cí©bBCÂ¢©Eaì'd©ÊD‰Ê&©)%)?Ê$&Ê‰)Eaì(¢‰ÁC?‰&?EìÁì(ì&B‰ì'E)BBìÂ)'()© 18

Slide 19

Slide 19 text

IBMの取り組み (2) IBMでは以上の全社的な⽅針を受けて、次の2つの製品・サービスを提供 Watson OpenScale Watson StudioやWatson Machine Learningと同じIBM Cloud上のサービス。ただし、他のサービスと異なり、他社AIも管理対象に含む。 AI Fairness 360 / AI Explainability 360 Python APIをOSSとして公開。ライブラリだけでなく、API Reference、チュートリアル、デモアプリなども⼀般に利⽤可能。ユーザーは⾃分でPythonコーディングを⾏うことが前提。 AIF360: http://aif360.mybluemix.net/ AIX360: http://aix360.mybluemix.net/ 19

Slide 20

Slide 20 text

OpenScaleとAIF360 OpenScaleとAIF360/AIX360の⽬的・役割・対象などを整理すると次のようになります。 Watson OpenScale AIF360/AIX360 位置付け商⽤製品/商⽤サービスオープンソース想定ユーザー企業ユーザーデータサイエンティスト研究者、開発者提供形態 ICP, IBM Cloud、他社クラウド Pythonライブラリーとツールの集合利⽤フェーズモデル実⾏/運⽤時モデル開発時提供機能説明性 ○ ○ (AIX360) 公平性 ○ ○ (AIF360) 正確性(精度) ○ - 20

Slide 21

Slide 21 text

2. IBM Watson OpenScale å”‘ https://www.ibm.com/jp-ja/cloud/watson-openscale 21

Slide 22

Slide 22 text

Watson OpenScale ここで 3.チュートリアルツアー体験の事前準備「3.チュートリアルツアー体験」の3番まで準備する 1. IBM Cloudへのログイン 2. Watson OpenScaleサービスの作成・起動 3. ⾃動セットアップの実施（10分前後の待ち時間） 22

Slide 23

Slide 23 text

aEED*©©ìbí@bì™©$CÊC463¥;◊aI¬Ñ`{GNPÑ`I.ÖH ú-;ø mß2R3-{GNP4âmåç|T{GNPıû-úH{GNP≈m †Fq÷ÉLdπ56./`Ö∑78]56.9`}Ö`I.ÖH ! IBM Cloud :;"$ +<=$%>?&@ABC*D'( EC212:;"$F56789 ! IBM Cloud G"%+<=$%HI +<=$%>ABC&J9D'( KLM>AN9FO? ïNOPQ•Ã-| https://cloud.ibm.com/login ªˇ{GNP01-ú +œDIBM Cloud⁄m'(∫4 23

Slide 24

Slide 24 text

NœDWatson OpenScale€2‹ªmµ∂à›ﬁ 3‰5@ „(è{GÈ]a©Faú∑ 24

Slide 25

Slide 25 text

3‰3@ :;ÉFa¬;è&E¢C'#êD)'>(&B)]ûüÑT „è&E¢C'#êD)'>(&B)È]◊ÿú∑ 25

Slide 26

Slide 26 text

3‰ò@ ©L§

Slide 27

Slide 27 text

3‰¥@ è&E¢C'#êD)'>(&B)m•òm78π56./µˇT>m√W÷Lªˇ „Ú≥È]a©Faú∑ 27

Slide 28

Slide 28 text

3‰8@ „◊£©?Lq(&B)m†Fq÷ÉLd]ã\ú∑ 28

Slide 29

Slide 29 text

Ãœﬂﬁ‡"“Ø"&m·‚ ò‰5@ „º\IFQ◊F£È]a©Faú∑ ë@…;ÏÌ`Ò2áõúπTA54«m-˚]ûÑõúî 29

Slide 30

Slide 30 text

ò‰3@ 7∆BCõ-1Ú ò‰ò@#„7∆πBCÑõÑµÇÈ∞56πDKÌµˇT„EÿõÑFsÈ ÉèP]a©Faú∑ ¿¿;GrVVπ56./∑ 30

Slide 31

Slide 31 text

2. IBM Watson OpenScale å”‘ https://www.ibm.com/jp-ja/cloud/watson-openscale 31

Slide 32

Slide 32 text

Watson OpenScaleの特徴 Watson OpenScaleのハイレベルな特徴として以下のことがあげられます。 Open (オープン): 代表的な機械学習・深層学習フレームワーク・他社AIサービス(MS Azureや Amazon Sagemaker)を管理対象とすることが可能 Scale (拡張性): パブリック、プライベート、ハイブリッド・クラウド、どの環境でも提供可能 Explainability (説明性): AIモデルの評価結果において、その判断理由を説明 Fairness (公平性): AIモデルの導出した結果の公平性をチェックし、是正する 32

Slide 33

Slide 33 text

Watson OpenScaleの主要機能 Payload Logging機能がベースの機能となっています。 Payload Loggingを使って説明性(Explainability) と公平性(Fairness) を実現しています。それぞれの拡張機能としてContrastive ExplanationとBias mitigationがあります。それ以外にモニタリング機能や、ドリフト・モニタリング機能がなどがあります。 Payload Logging 説明性 (Explainability) 公平性 (Fairness) Contrastive Explanation Bias mitigation ・Monitoring ・Performance ・Drift monitoring Watson OpenScale 主要機能 33

Slide 34

Slide 34 text

»IGñKRD…äTR SIãTD7"Ì—Ó29 è&E¢C'#êD)'>(&B)†Fq÷ÉLd-|T78>m√W÷L◊ÿ-T 78]RSØ;+áTª∑¿∞π-∫õúH 34 +,≤ >)c ]U∆

Slide 35

Slide 35 text

ÈIêãKIPDÍKÎÎåRÎ Ù&ÊBC&$#ÌCÂÂì'Â∞|TÚ≥'∆m»…¨≠iNl;'ú∑VßÑ-mûüNLèT ßü%&]èNê¬èP£∞ˆWLa"Aë¢(C?ì'ÂWì$î∞∞€;A<;º\Ø;ô3 ú∑»1-úH êD)'>(&B)mXû»1-™∑./≤∞+j≤|TÙ&ÊBC&$#ÌCÂÂì'Â;Ïáô3./µ NLèm«Y]ßjZ;ºΩ./`ÖõúH 35

Slide 36

Slide 36 text

Payload Logging (Watson Machine Learningの場合) Watson ML上に登録されたモデルに対してPayload Loggingを⾏う場合は、 OpenScale側で管理対象の指定をするだけで⾃動的に記録されます。この場合、アプリ側の改修は不要です。 Watson Machine Learning deployment Application API Call OpenScale Payload 36

Slide 37

Slide 37 text

Payload Logging (他社 Machine Learningの場合) MS AzureやAmazon Sagemakerなどの他社APIの場合は、アプリケーションはモデルのAPIを呼び出した後で、⼊⼒データとその結果を引数に、OpenScale側で⽤意したPayload Logging APIを呼び出すようにします。他社 Machine Learning Application API Call OpenScale Payload Payload Logging API 37

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

説明性(Explainability) 顧客窓⼝担当者年収が⾜りないのはわかったが、いくらあればよかたのか︖ お客様の場合、年収があと200万円あれば、当⾏でも融資できます。説明性の拡張機能 (Contrastive Explanation) 説明性の拡張機能まで使うと、次のような突っ込んだやりとりにも対応可能です。 40

Slide 41

Slide 41 text

XYwéEFäãIåRIçåãåGêè OcDB&ì'&bìBìEÊë./≤î∞|T»…¨≠iNlπ¡∆mQbPöaq(&B)m«Y%& g)Â&Eì%)2ûÄm„Æ¯àtf ‰n#êD)'>(&B)m«Y%& øhØ2»…¨≠iNlm%e∞,1f ‰n#iNlªˇKª∑Ÿ⁄ 41

Slide 42

Slide 42 text

XYwéEFäãIåRIçåãåGêè ./≤ëOcDB&ì'&bìBìEÊî»1mºΩƒP Ì"=OëÌC(&B#"'E)?D?)E&bB)#=C$)B‰&Â'C¢Eì(#OcDB&'&EìC'¢î∞ÖsƒP]OL¬;Ñ`ÖõúH 6„emõúùûm¸˝]¥YÑµÖåçTm˛ˇmÛÙ†2� !W;Ùc@"?~≥]†iõúH 6*õÌµNLè]QÌ`Tü†°¶#$%u˛&ß~'(ü†°]RáõúH 6jkiNl|lmπjn2µÿTàtf]Æÿ∑¿∞π01-úH ¿m◊£{L’-™/LT'∆π)*ùûü†°m+"?,-?ü†°W./0Z[;2áõúH ß®*#aEED¢*©©&?cì%@C?Â©&b¢©5€43@4¥´ò6 ûüD^5mo ûüD^3mo p †°'∆mQbP˜aq

Slide 43

Slide 43 text

XYwmÂÊõ[ éîKRGHIñGåQTDEFäãIRIGåKRè ∆yNLèπûümiNlmåçTOcDB&ì'&bìBìEÊm78•z;|ABC1ﬂm ÂÊõ[W2~îKRGHIñGåQTDEFäãIRIGåKRu+~¸˝πßü./`ÖõúH ûüoπÖIÚÌµˇu v%&πDKÌ`ÖµªH uv%&πé∞Ó_;2∑ {á{ámoH 43

Slide 44

Slide 44 text

UVw !∫Øª34 êD)'>(&B)]ÍÎÑµ+,≤EN◊¬:ŒmÍÎqK©l|T•òm∞}á-úH ¿m|-¡;Àû2m|„}~'∆„Æm$∆È-TËÁm©qL2Ä; ÄÅ∫TÓ˚π$∆ÑõúHêD)'>(&B)|T$ÿˇ/µ©qLπÇˇ/` Ö∑ª]}~ú∑˙˚]ÒoõúH }~'∆iNlm$∆ }~'∆„Æm$∆ ë‘ ≤¯TÓ9T7á)E(î êD)'>(&B)-m7∆ +j≤Éom$∆ êD)'>(&B)-m iWè©PG ◊bLQ^Œ 44

Slide 45

Slide 45 text

UVw !∫Øª34 †Fq÷ÉLdªˇT-ÑÖ-EN◊¬mD¿π,}-∫õúH ¬¡◊πÉo]òZ∑∞◊bLQπ56./õúH Éo ëMä7∆ú∑î ◊bLQ56 Gby•]a©Fa ú∑∞Üá5678 45

Slide 46

Slide 46 text

公平性バイアス検知の⽅法 perturbation analysis ⼊⼒データのバリエーションを増やす監視対象モデル Payloadだけではデータが不⾜している場合、OpenScaleは⼊⼒データのバリエーションを増やし(perturbation analysis)、それぞれの結果を⾒ることで、バイアスの有無を検知します。 payloadから取得した記録増やしたデータに関して、モデルを呼び出し結果を調べる結果を統計的に処理してバイアスの有無を判断 46

Slide 47

Slide 47 text

47 UVw !∫Øª34m56 å\NLè€çªµ≈;TiNlmuv%&m÷áπMä7∆ÑµÉo]wªµ åçTEN◊¬π™∑∞êD)'>(&B)|uvÑõúH 1±#;°m<>†2!é=∫'29è UVw>?mgz@Af†2!éBﬁè¶CDg¸˝ „EN◊¬™áÈm 56 47

Slide 48

Slide 48 text

UVwéÀIåHRTññèDEFõ[ êD)'>(&B)|EN◊¬m’+Fa]rs˙-2ITº\Ø;EN◊¬]éèú∑»1]ÒÌ` ÖõúHb§lÉèP]„!∫ØªEFG¡È;+áTª∑∞TéèiNl-™/LÄmÏs2 ßü;2Ì`ÖµªmUV]56-∫õúH 48

Slide 49

Slide 49 text

UVwéÀIåHRTññèDHeIJ 7∆êë|T./≤m-ÓD;jn-Tõúùûü†°uKß~4LvëË-úH µÑTÄm„Æ]+,≤m'∆;ú∑ª|ˆL˜LπU∆ú∑ùûπ™áõúH ÛÙéHeıˆè 6iWè'∆Œ≤ ë‘ ≤¯î 6ŸÍ2GlL£ ë‘ í≤îTıÍ2GlL£ ë‘ ì≤î 6ÆØD^ ë‘ wñ©¬aŸﬂî 6ŸÍ2%& ë‘ ©¬a2Ñî 6ıÍ2%& ë‘ ©¬a™áî 49

Slide 50

Slide 50 text

説明性・公平性サポート対象モデル説明性と公平性は、管理対象がどのような種類のモデルかにより、対応の有無が異なります。現在のサポート状況を整理すると、下の表のようになります。モデル種別対象データ説明性公平性公平性緩和精度分類構造データ Yes Yes Yes ※ Yes 回帰構造データ Yes Yes No Yes 分類テキスト Yes No No No 分類イメージ Yes No No No ※ モデルが確率値を返すタイプのものである必要があります。 50

Slide 51

Slide 51 text

説明性・公平性サポート対象フレームワーク説明性・公平性は、フレームワークによってもサポートの有無が違ってきます。最新の状況については、下記リンク先を参照してください。 Watson Machine Learning Azure ML Studio AWS SageMaker Custom/Python function 分類構造データ Apache Spark Mllib Python function XGBoost scikit-learn Native Native WMLと同じ回帰構造データ Python function XGBoost scikit-learn n/a n/a n/a 分類テキスト Keras with TensorFlow(※1) n/a n/a n/a 分類イメージ Keras with TensorFlow(※1) n/a n/a n/a 参照: https://cloud.ibm.com/docs/services/ai-openscale?topic=ai-openscale-frmwrks-wml&locale=ja 51

Slide 52

Slide 52 text

3. チュートリアルツアー体験⾃動セットアップについて⾃動セットアップはデモ⽤のセットアップ(設定、デモデータのロード等)を⾃動で⾏い、実際にWatson OpenScaleで何ができるのかを体験することができます。以下の順序で実施します。 1. IBM Cloudへのログイン 2. Watson OpenScaleサービスの作成・起動 3. ⾃動セットアップの実施（待ち時間約10分） 4. Watson OpenScaleを体験(モデル・モニターでのインサイト表⽰) 52

Slide 53

Slide 53 text

¥‰5@# è&E¢C'#êD)'>(&B)#†Fq÷ÉLdmk◊LπiE./∑m- ¶–úßÉèP]a©FaÑ2πˇ¥.ûâGÿ∑ ë:ïü†î ;‹Q2ÌR4 è&E¢C'#êD)'>(&B);|T°¢T./Tl‡T öLQm¥ÚmX2£§π™áõúH 53

Slide 54

Slide 54 text

¥‰3@# ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ ë:ïü†î ST7"Ì—Ó29 °¢†Fq÷ÉLd;|TiWè©PGÑ`Ö∑ iNlπ56./õúH ë:ïü†î 7"Ì—Ó29uUC „†Fq÷ÉLd;•çÈÉèP]QÎú∑∞ iNlmiWè©PG]l‡Ñ`iNl] †Fq÷ÉLd;•ç-∫õúH 54

Slide 55

Slide 55 text

¥‰ò@# ¥.]ûâGÿ„–mk◊LÈÉèPπ56./µˇa©Faú∑ ë:ïü†î ü†°àü3!2 ¶iWè©PG'ßiNl|T†Fq÷ÉLd; èNl∞Ñ`56./õúHiNl6èNl] a©Faú∑∞TiWè©PGmÜáπi∫õúH ë:ïü†î ü†°VW ¶iNl6èNl-T+,≤TÍõT}Ïﬂ d©yQmΩ›mU®]56ÑõúHÑ∫Öo ó©m™∑U®;|TÛÙ;™πˇ∫õúH 55

Slide 56

Slide 56 text

¥‰¥@#öP£l-Î"./`Ö∑„1Î©¬aiNl ëÔ?)$ìE#Âì¢d#=C$)Bî#È mqK©l∞iNlmKLmÜá]„g)cEÈÉèP]a©FaÑ` ,}ú∑ 56

Slide 57

Slide 57 text

¥‰8@#qK©lm./´1Î©¬amqK©l " !"#$%&'()*+,- &./0(12(345678 9:-;<=>-&.?@A B!CDE3FGHIJ8KCL MN-OODPQR*AST CDUVF6E-/0(12( -WXYZ[\A]^456 _&.`a-b*cde\A fg4K4UL" qK©l],}Ñµˇ¶g)cEßÉèP]a©Fa 57

Slide 58

Slide 58 text

¥‰€@#qK©lm./´1Î©¬amqK©l "hi3jkl mn(Fop456q-7r FWatson OpenScaleIZ[\ Istutv$bwxy[( z{yA?@45|DO}~ CDÄÅA45|D-O ÇÉ4K4Ñr" é¨],}Ñµˇ¶Ì)E≠¢#ÂCßÉèP]a©Fa 58

Slide 59

Slide 59 text

¥‰ô@# KLöÆ©L}Ïﬂ+,≤f¬Qm,} ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ ë:ïü†î XY€Z±2 KL∂û78;|TøÉmKLm f¬Q%&π56./õúH ë:ïü†î UVw[ª“ √Q©Fa¬Iaq

Slide 60

Slide 60 text

¥‰6@# Íõf¬Q}Ïﬂd©yQf¬Qm,} ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ ë:ïü†î \][ª“ Íõ∞|TygLdEFaNLè∞VL/∑ bOlˇ˙./µf¬QNLè;ÄÅÖ` jÑÖ%&]ÎÏú∑iNl»1]5ÑõúH ë:ïü†î 9±N“[ª“ d©yQ|Tefõµ|NLèm\∞≤mgò] ±íÑõúH 60

Slide 61

Slide 61 text

¥‰´@# +,≤mKLm,} ¥.]ûâGÿ„–mk◊LÈÉèP]a©Faú∑ ë:ïü†î √Q©Fao]a©Faú∑∞T%&mÜáπ56./õúH –;T+,≤iWèL]â`âõÑFsH 61

Slide 62

Slide 62 text

¥‰54@# +,≤iWè©PGm,} ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ 62

Slide 63

Slide 63 text

¥‰55@# +,≤¬¡◊m,} ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ 63

Slide 64

Slide 64 text

¥‰53@# +,≤¬¡◊m-˚ØD¿m,} ¥.]ûâGÿ„–úÈÉèP]a©Faú∑ 64

Slide 65

Slide 65 text

¥‰5ò@# +,≤¬¡◊m-˚ØD¿m,} ¥.]ûâGÿ„–mk◊LÈÉèP]a©Faú∑ 65

Slide 66

Slide 66 text

¥‰5¥@# QbP˜aq

Slide 67

Slide 67 text

¥‰58@# QbP˜aq

Slide 68

Slide 68 text

¥‰5€@# QbP˜aq

Slide 69

Slide 69 text

¥‰5ô@# QbP˜aq

Slide 70

Slide 70 text

¥‰56@# QbP˜aq

Slide 71

Slide 71 text

¥‰5´@# QbP˜aq

Slide 72

Slide 72 text

¥‰34@# QbP˜aq

Slide 73

Slide 73 text

¥‰35@# QbP˜aq

Slide 74

Slide 74 text

¥‰33@# QbP˜aq

Slide 75

Slide 75 text

¥‰3ò@# QbP˜aq

Slide 76

Slide 76 text

Slide 77

Slide 77 text

Slide 78

Slide 78 text

Slide 79

Slide 79 text

Slide 80

Slide 80 text

Slide 81

Slide 81 text

Slide 82

Slide 82 text

82 ¥‰ò4@# QbP˜aq

Slide 83

Slide 83 text

実際にモデルを登録してWatson OpenScaleを使うには実際にモデルを登録してWatson OpenScaleを使うには、pythonでSDKを使ってコードを書き、実⾏して設定を⾏うことが通常必要です。 • Watson Machine Learningのモデルを使う場合は、モデル登録にpythonでの登録が必要です。 • AutoMLなど他社のモデルを使う場合は、ペイロードロギング等に通常は何かしらのコードの実⾏が必要です。 • もちろん⼀部はGUIで実施可能です。

Slide 84

Slide 84 text

Watson OpenScale Python SDK チュートリアル (上級) 下記のタスクを実⾏する⽅法を学習できるコンテンツです。 • Python ノートブックを実⾏して機械学習モデルを作成、トレーニング、およびデプロイする • データマートを作成し、パフォーマンス、正確度、公平性のモニターを構成し、モニター対象のデータを作成する • Watson OpenScale の「インサイト」タブで結果を表⽰する https://cloud.ibm.com/docs/ai-openscale?topic=ai-openscale-crt-ov

Slide 85

Slide 85 text

Slide 86

Slide 86 text

ï¡L¬-R‡Ñµ©"L¬]≈∆ú∑ƒP 86 5@ "<=#ÔBC4$†Fq÷ÉLd;{GNPú∑ 3@ ¶©"L¬mûAßm¶úi`56ß]◊ÿú∑ ò@ ¶>)?%ì()ßmò«»]a©FaÑ`é¨]…iú∑ ¥@ R‡./µ3ÚmöL)¬ mÀ[mZÔ]a©FaÑ¶≈∆ß]◊ÿú∑ ïöL)¬ |ÕÔ;Ò2∑µÿTºΩm78]å,}I.ÖH ! è&E¢C'#êD)'>(&B)#ccc ! `íB‰ccc

Slide 87

Slide 87 text

"<=#ÔBC4$;]ú∑ygLdEFaåÃüm}°Ö 87 "<=#ÔBC4$†Fq÷ÉLdªˇ¶¯OOA

Slide 88

Slide 88 text

まとめ • AIの実⽤化には、「公平性」や「説明性」が重要な課題となってきている • 「IBM Watson OpenScale」は、AIの公平性の分析、不公平なバイアスの軽減、説明性の実現が可能である 88

Slide 89

Slide 89 text

4. }úúÿŸ⁄ –ijÃ–˙öNQIBM Developer ibm.biz/IBMDevJP øÉŸ⁄M¬«l◊F£;˙—Ú€)444]wª∑noôM]ÎÏ 89

Slide 90

Slide 90 text

Slide 91

Slide 91 text

Microsoft Azure ML × Watson OpenScale 学習資料 91 Watson OpenScale を利⽤して Azure での機械学習をモニタリングする (Code Patterns) Microsoft Azure で機械学習モデルを作成し、Watson OpenScale を利⽤してペイロードのロギングとモデルの公正さをモニタリングする⽅法について紹介 https://developer.ibm.com/jp/patterns/monitor-azure-machine-learning-studio-models-with-ai-openscale/ https://developer.ibm.com/jp/patterns/monitor-azure-machine-learning-studio-models-with-ai-openscale/ GitHub IBM/monitor-azure-ml-with-watson-openscale

Slide 92

Slide 92 text

AWS SageMaker × Watson OpenScale 学習資料 92 Watson OpenScale を利⽤して SageMaker での機械学習をモニタリングする (Code Patterns) AWS SageMakerで機械学習モデルを作成し、Watson OpenScale を利⽤してペイロードのロギングとモデルの公正さをモニタリングする⽅法について紹介 https://developer.ibm.com/jp/patterns/monitor-amazon-sagemaker-machine-learning-models-with-ai-openscale/ https://github.com/IBM/monitor-sagemaker-ml-with-watson-openscale GitHub IBM/monitor-sagemaker-ml-with-watson-openscale

Slide 93

Slide 93 text

}úúÿŸ⁄ – Twitter;Ï∑øÉŸ⁄mj1 "<=]÷Ÿ⁄]}◊˙Ñ`Ö∑◊(cPQmå”‘ :ï"<= @IBM_JAPAN :ï"<=#ÁC?#3)(a @IBMDeveloper_JP A)%)BCD)?#!$%C(&(Ê#ÿ&D&'#Ì)&$)? !dì?&#ê'ì¢aì @oniak3 A)%)BCD)?#!$%C(&E) î&¢4¢aì#ê¢C'Cì @osonoi A)%)BCD)?#!$%C(&E) 3&ìÊì#’&Âì'C @taiponrock A)%)BCD)?#!$%C(&E) !ÊCd4?& @ayatokura A)%)BCD)?#!$%C(&E) ΩÊCdC#gì¢aìEC @KyokoNishito A)%)BCD)?#!$%C(&E) gC?ìdC#Ω&EC @noricokt 93

Slide 94

Slide 94 text

免責事項 IBM Developer Dojoは開発者の⽅を対象に、IBM Cloudを主とした技術情報をお伝えする⽬的で開催しています。講師や運営スタッフにより、開催毎に最適と判断した内容でお届けしています。現在、ハンズオンを伴う講義はお客様の費⽤負担がない環境と⼿順でご案内しています。講義終了後、不要になりました制作物はお客様ご⾃⾝で削除をお願いいたします。クレジットカードの登録が伴わない場合、費⽤は⼀切発⽣致しませんが、ご登録いただいたお客様はご注意ください。講師陣はみなさまの利⽤状況を個別に確認することはできません。ご理解とご協⼒をお願いいたします。利⽤したサービスの削除⽅法については講義の中でご案内します。ご不明な点がございましたら、当⽇確認をお願いいたします。講義終了後、 IBM Developer Dojoに関するお問い合わせは「Slack」にお願いします。それ以外のIBM Cloud のお問い合わせにつきましては、弊社サポートセンターまで、次のいづれかの⽅法でお問い合わせください。 IBM Cloudダッシュボードの「サポート」メニューから「Case」を作成し、英語でご記⼊ください IBM Cloudサポートセンター「相談する」ボタンからチャットまたは電話でご連絡ください https://www.ibm.com/jp-ja/cloud/support ご参加ありがとうございました。 94