190821 AI実践でつまずきやすいテーブルデータとの付き合い方佐々木さん

Slide 1

Slide 1 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. AI実践でつまずきやすいテーブルデータとの付き合い方～深層生成モデルで欠測データをどう補う？～ 21 Aug 2019 マクニカネットワークス株式会社第４技術統括部 AIソリューション部第２課佐々木宏

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. 私のAI歴時期トピック昭和62年第二次AIブームの頃、当時の勤務先社長の「これからはAIの時代だ」という発言に触発されAIに興味を持ち始める。平成28年社内チャレンジプロジェクトが公募される。「AIリサーチ」で応募し採用され活動を始める。平成29年チャレンジプロジェクトの一環でテクニカルサポートのAI活用を検討。PoCやるも、実運用フェーズに乗らず。平成30年4月～データサイエンス業務を開始平成30年6月 JDLA G検定合格平成30年9月 JDLA E資格取得平成30年10月～平成31年3月東京大学松尾研究室の Deep Learning 基礎講座受講、修了現在 AIソリューション部にて Customer Engagement フェーズを担当し活動中

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. テーブルデータ 6 ビジネス現場ではテーブルデータが多く存在する年齢性別住所年収一昨年度購買額昨年度購買額顧客ランク 41 男性神奈川県 800 21.5 22.2 Silver 59 女性北海道 1200 3.1 14.1 Bronze 63 女性東京都 1400 17.9 31.3 Gold 38 男性鹿児島県 700 6.2 2.1 Normal 26 女性大阪府 400 3.7 1.1 Normal 53 女性愛媛県 1100 11.7 27.4 Gold

Slide 7

Slide 7 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. テーブルデータで扱うデータの種類は様々 7 様々な種類のデータが一つのテーブルにまとまっている年齢性別住所年収一昨年度購買額昨年度購買額顧客ランク 41 男性神奈川県 800 21.5 22.2 Silver 59 女性北海道 1200 3.1 14.1 Bronze 63 女性東京都 1400 17.9 31.3 Gold 38 男性鹿児島県 700 6.2 2.1 Normal 26 女性大阪府 400 3.7 1.1 Normal 53 女性愛媛県 1100 11.7 27.4 Gold 1刻みのカウントデータ 2カテゴリのデータ 47カテゴリのデータ正の数値順序カテゴリ

Slide 8

Slide 8 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. 多くの場合欠測値が存在する 8 全てのデータが揃っている事は稀欠測値が多く存在する不完全データはそのままの活用が難しい欠測値がある行や列は使わない？それとも補完して使う？年齢性別住所年収一昨年度購買額昨年度購買額顧客ランク 41 男性 ??? 800 21.5 22.2 Silver 59 ??? 北海道 ??? 3.1 14.1 Bronze ??? 女性東京都 1400 ??? 31.3 ??? 38 ??? ??? 700 6.2 2.1 ??? ??? 女性大阪府 ??? 3.7 ??? Normal ??? 女性愛媛県 1100 ??? 27.4 Gold

Slide 9

Slide 9 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. 補完 9 尤もらしいデータを補完する事はできるのだろうか？年齢性別住所年収一昨年度購買額昨年度購買額顧客ランク 41 男性神奈川県 800 21.5 22.2 Silver 59 女性北海道 1200 3.1 14.1 Bronze 63 女性東京都 1400 17.9 31.3 Gold 38 男性鹿児島県 700 6.2 2.1 Normal 26 女性大阪府 400 3.7 1.1 Normal 53 女性愛媛県 1100 11.7 27.4 Gold この問いが本日の主題になります

Slide 10

Slide 10 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. 補完 10 尤もらしいデータを補完する事はできるのだろうか？年齢性別住所年収一昨年度購買額昨年度購買額顧客ランク 41 男性神奈川県 800 21.5 22.2 Silver 59 女性北海道 1200 3.1 14.1 Bronze 63 女性東京都 1400 17.9 31.3 Gold 38 男性鹿児島県 700 6.2 2.1 Normal 26 女性大阪府 400 3.7 1.1 Normal 53 女性愛媛県 1100 11.7 27.4 Gold Deep Learning を使った補完を考えます

Slide 11

Slide 11 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. 欠測値の種類 11 MCAR(Missing completely at random) 他の変数に依存しない完全にランダムな欠測 MAR(Missing at random) 観測されているデータに依存したランダムな欠測例）女性は体重の入力が少ない（女性に依存している） MNAR(Missing not at random) 欠測しているデータそのものに依存しているランダムな欠測例）体重が重い人は入力が少ない（体重そのものに依存している）本日の対象適用できる可能性あり（未検証）

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. Conditional VAE 23 ラベル付けにより雰囲気も合せて生成できるテストデータテストデータ https://arxiv.org/abs/1406.5298v2 Kingma, Rezende, Mohamed, Welling “Semi-Supervised Learning with Deep Generative Models” より引用

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. 画像データは連続値 25 推論ネットワーク生成ネットワーク画像データはピクセル毎に色を表現する数値で表現数値は 0 ～ 254 を 0～1の範囲に変換した連続値 0.129 0.675 0.012 0.014 0.543 0.756 0.023 0.011 0.438 0.543 0.654 0.109 0.028 0.218 0.912 0.349 潜在空間平均分散

Slide 26

Slide 26 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. テーブルデータのタイプは様々 26 タイプ例特徴数値実数気温数値が意味を持つ正の実数売上数値が意味を持つカウント販売個数少数は取らない定性的データカテゴリカル血液型 A, B, O, AB 大小や和差に意味は無い順序顧客満足度非常に良い：４良い：３悪い：２非常に悪い：１大小や和差に意味は有る

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. HI-VAEの提案 29 The Heterogeneous-Incomplete VAE (HI-VAE) Alfred Nazabal （Alan Turing Institute）らが 2018年10月に提案 https://arxiv.org/abs/1807.03653 https://github.com/probabilistic-learning/HI-VAE 様々な種類のデータを持つテーブルデータをVAEに適用ランダムな欠測値(MCAR)を補完目的変数の推論にも応用可能

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. 欠測値補完確認結果① 32 データセット UCI Machine Learning Repository, クレジットカードデフォルトデータセット https://archive.ics.uci.edu/ml/datasets/default+of+credit+card+clients # 30000 24 6 7 4 6 1 UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science. X1 X2 X3 X4 X5 X6 X7 X8 X9 X10 X11 X12 X13 X14 X15 X16 X17 X18 X19 X20 X21 X22 X23 Y ID LIMIT_BAL SEX EDUCATION MARRIAGE AGE PAY_0 PAY_2 PAY_3 PAY_4 PAY_5 PAY_6 BILL_AMT1 BILL_AMT2 BILL_AMT3 BILL_AMT4 BILL_AMT5 BILL_AMT6 PAY_AMT1 PAY_AMT2 PAY_AMT3 PAY_AMT4 PAY_AMT5 PAY_AMT6 default payment next month 1 20000 2 2 1 24 2 2 -1 -1 -2 -2 3913 3102 689 0 0 0 0 689 0 0 0 0 1 2 120000 2 2 2 26 -1 2 0 0 0 2 2682 1725 2682 3272 3455 3261 0 1000 1000 1000 0 2000 1 3 90000 2 2 2 34 0 0 0 0 0 0 29239 14027 13559 14331 14948 15549 1518 1500 1000 1000 1000 5000 0 4 50000 2 2 1 37 0 0 0 0 0 0 46990 48233 49291 28314 28959 29547 2000 2019 1200 1100 1069 1000 0 5 50000 1 2 1 57 -1 0 -1 0 0 0 8617 5670 35835 20940 19146 19131 2000 36681 10000 9000 689 679 0 6 50000 1 1 2 37 0 0 0 0 0 0 64400 57069 57608 19394 19619 20024 2500 1815 657 1000 1000 800 0 7 500000 1 1 2 29 0 0 0 0 0 0 367965 412023 445007 542653 483003 473944 55000 40000 38000 20239 13750 13770 0 8 100000 2 2 2 23 0 -1 -1 0 0 -1 11876 380 601 221 -159 567 380 601 0 581 1687 1542 0 9 140000 2 3 1 28 0 0 2 0 0 0 11285 14096 12108 12211 11793 3719 3329 0 432 1000 1000 1000 0 10 20000 1 3 2 35 -2 -2 -2 -2 -1 -1 0 0 0 0 13007 13912 0 0 0 13007 1122 0 0 ※欠測値は欠測率に応じてランダムに設定

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. 欠測値補完確認結果② 37 データセット UCI Machine Learning Repository, 年収予測データセット https://archive.ics.uci.edu/ml/datasets/adult # 32561 12 0 3 6 1 2 UCI Machine Learning Repository [http://archive.ics.uci.edu/ml]. Irvine, CA: University of California, School of Information and Computer Science. ※欠測値は欠測率に応じてランダムに設定 age workclass fnlwgt education-num marital-status occupation relationship race sex capital-gain capital-loss hours-per-week 39 State-gov 77516 13 Never-married Adm-clerical Not-in-family White Male 2174 0 40 50 Self-emp-not-inc 83311 13 Married-civ-spouse Exec-managerial Husband White Male 0 0 13 38 Private 215646 9 Divorced Handlers-cleaners Not-in-family White Male 0 0 40 53 Private 234721 7 Married-civ-spouse Handlers-cleaners Husband Black Male 0 0 40 28 Private 338409 13 Married-civ-spouse Prof-specialty Wife Black Female 0 0 40 37 Private 284582 14 Married-civ-spouse Exec-managerial Wife White Female 0 0 40 49 Private 160187 5 Married-spouse-absent Other-service Not-in-family Black Female 0 0 16 52 Self-emp-not-inc 209642 9 Married-civ-spouse Exec-managerial Husband White Male 0 0 45 31 Private 45781 14 Never-married Prof-specialty Not-in-family White Female 14084 0 50

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. HI-VAEのビジネスへの応用③ 45 インバランスデータを拡張し機械学習モデル精度を向上させる HI-VAE 予測インバランスデータ Positive 類似データサンプリング Negative Positive Negative Positive H2O Driverless AI データ拡張バランスデータ機械学習

Slide 46

Slide 46 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. まとめ 46 HI-VAEは様々なデータタイプが混合しているテーブルデータの欠測値補完の方法の一つとして検討に値する。欠測値を補完した後、教師あり機械学習にて目的変数の推論もできると考えられる。 HI-VAEのみで欠測値補完と目的変数推論を同時に行う事ができる。インバランスデータ（Positiveに対して著しくNegativeが多いデータ）のPositiveデータ生成によって、バランスを解消してから機械学習を行う事により推論精度への貢献が期待できる。

Slide 47

Slide 47 text

Copyright © 2004-2019 Macnica Networks Corp. All Rights Reserved. 47 ご清聴ありがとうございました。・本資料に記載されている会社名、商品、サービス名等は各社の登録商標または商標です。なお、本資料中では、「™」、「®」は明記しておりません。・本資料は、出典元が記載されている資料、画像等を除き、弊社が著作権を有しています。・著作権法上認められた「私的利用のための複製」や「引用」などの場合を除き、本資料の全部または一部について、無断で複製・転用等することを禁じます。・本資料は作成日現在における情報を元に作成されておりますが、その正確性、完全性を保証するものではありません。