パーソナルデータという原石をダイヤモンドにするための手法

2021/8/20(金)に開催したExploratory データサイエンス勉強会#20のDSInnovation株式会社様のご登壇資料です。

Transcript

1. ©DSInnovation, Co., Ltd. Exploratory User case パーソナルデータという原⽯を ダイヤモンドにするための⼿法 DSInnovation株式会社 / 野尻 梢（Kozue Nojiri） 08.20.2021 Exploratory User case 08.20.2021
2. About me Exploratory User Case - ©DSInnovation, Co., Ltd. 08.20.2021 Kozue nojiri l ⼈⽣のテーマは「テクノロジー ＆ アート」。現代アートの可 能性から着想を得て、⼈と⼈とのコミュニケーションに深度を 残した形でのエンジニアリング的⽀援が考えられないか、アー トがもつ⼒をエンジニアリングや社会に応⽤させることで⾶躍 できないかということを幼いころから模索している。 l システム・データエンジニアとして主にWEBシステムの開発 （通信キャリア内７システム統合データベース設計責任者など）、マネイジ メントに従事した後、2015年慶應義塾⼤学メディアデザイン 研究科修⼠課程卒業。現在慶應義塾⼤学メディアデザイン研究 科後期博⼠課程にも在籍中。現在はリサーチャーにも任⽤され ている。 l 在学中にインバウンド事業を⾏う株式会社ワンストップ・イノ ベーション⽴上げに参加。観光コンシェルジェ型プラット フォーム端末を開発し、そこから⽣まれるデータ活⽤、事業開 発を担っている。個⼈の活動履歴データを預かり、個⼈に還元 する情報銀⾏のプロジェクトにも参加しており、⾃⾝は中でも 社会・サービスデザインに注⼒し、 DSInnovation株式会社 として情報銀⾏の社会実装を慶應義塾⼤学⼤学院メディアデザ イン研究科と共に進⾏している。 2 - DSInnovation株式会社 代表取締役 - 株式会社ワンストップ・イノ ベーション 取締役CTO デザ イニングエンジニア - 慶應義塾⼤学⼤学院メディア デザイン研究科 附属メディア デザイン研究所リサーチャー - 情報経営イノベーション専⾨ 職⼤学 客員講師
3. 3 【４】 まとめ 次の課題 Exploratory User Case - © DSInnovation, Co., Ltd. 08.20.2021 Agenda Summary & Next step 【１】 注⽬の集まるパーソナル データ活⽤の背景 Background 【２】 データ活⽤における課題 Issue 【３】 ⼊⼒データよくある ３つの具体的事例 活⽤につなげるための サマリビューの活⽤ approach Common things &
4. パーソナル・ビッグデータ事業 （収集、流通、分析、活⽤） データビジネス⽀援事業 （プロダクト・サービス⽴案、アプリケー ション・システム開発、事業推進、社会実装 ⽀援） データデザイン研究⽀援事業 （データ利活⽤、データセキュリティ、 共同研究開発⽀援） 4 About 設⽴：2018年5⽉1⽇ 商号：DSInnovation株式会社 本社：東京都千代⽥区⼤⼿町1丁⽬6-1 ⼤⼿町ビル6階 Inspired.Lab 所属団体： インフォメーション バンクコンソーシアム、 MONETコンソーシアム、 Inspired.Lab 連携プログラム： [⽂部科学省] 成⻑分 野を⽀える情報技術⼈ 材の育成拠点の形成 （enPiT） セキュリティ分野 Exploratory User Case - © DSInnovation, Co., Ltd. 08.20.2021
5. ある電機メーカーさん データを活⽤してサービスの改善や新しい ビジネスをつくりたいと思っている 5 Exploratory User Case - ©DSInnovation, Co., Ltd. 08.20.2021 Background
6. 6 会員としてお客様情報の⼊⼒やアンケートなど への回答を求め、そのデータを活⽤したい ※ダミーデータを利⽤ 08.20.2021 Exploratory User Case - ©DSInnovation, Co., Ltd.
7. さまざまなパーソナルデータ利活⽤に対する⽬線 08.20.2021 marketing mY data User center 第３者データの限界 いままで他社が収集していたデータを 活⽤してマーケティングを⾏なってい た⽅法が崩れつつある パーソナルデータは⾃分 の資産であるという意識 の⾼まり GAFA規制/GDPR/個⼈情報保護法の ⾒直し/情報銀⾏の盛上がり、etc ユーザーと直接よりよい 関係を築き、サービス向 上に活かしたい 量販店経由でしか接点がなかった ために商品開発が困難であった = サービサー側の視点 = ユーザー側の視点 7 Exploratory User Case - ©DSInnovation, Co., Ltd.
8. marketing mY data User center 多くの項⽬を訪ねてしまう、 データ管理コストがかかる 不必要なデータは提供 したくない 関係ができたら喜んで データを提供する = 関係ができていない 間は提供したくない パーソナルデータ利活⽤にまつわる難しさ 08.20.2021 = サービサー側の視点 = ユーザー側の視点 8 Exploratory User Case - ©DSInnovation, Co., Ltd.
9. パーソナルデータは 無理にでも集めれば集めるほど 有益なのか？ 9 08.20.2021 Exploratory User Case - ©DSInnovation, Co., Ltd.
10. 10 08.20.2021 無理に集めることでおこること 集めたデータが不正確だったり、ゴミがまじっている アンケート回答に ⽋損値が多い ※ダミーデータを利⽤ 例えば 存在していない ドメイン？ Exploratory User Case - ©DSInnovation, Co., Ltd.
11. 11 08.20.2021 そのためにやるべきこと データをきれいにする必要があるが どこから どう⼿をつけるべきか・・・？ その判断が容易ではない ※ダミーデータを利⽤ ドメイン ⽣存チェック？ Exploratory User Case - ©DSInnovation, Co., Ltd.
12. 無理にパーソナルデータの⼊⼒を促す ことでデータの信頼性が下がり、 有効なデータを⾒つけ出すことに コストがかかってしまう 12 08.20.2021 issue Exploratory User Case - ©DSInnovation, Co., Ltd.
13. 13 08.20.2021 ※ダミーデータを利⽤ とはいっても前には進まなければならない。 では⼊⼒データをどのように⾒極めるか？ Exploratory User Case - ©DSInnovation, Co., Ltd.
14. 14 08.20.2021 ※ダミーデータを利⽤ サマリビューを活⽤する！！ Exploratory User Case - ©DSInnovation, Co., Ltd.
15. ⼊⼒データ よくある ３つの 具体的事例 １.回答してくれない 15 Exploratory User Case - ©DSInnovation, Co., Ltd. 08.20.2021 必須項⽬を減らすと⼊⼒内容 にN/Aが多くなってしまう ２.回答内容が怪しい ⼊⼒内容がテストデータのよう ３.UIの問題でミスリード デフォルト値のまま？ 回答の必要性が理解できない？ いやいや⼊⼒している？ 関係性ができていないため途中で 誤りに気づいても訂正しない？ Common things & approach
16. 例．任意アンケート項⽬に⽋損値が多い 16 １.回答してくれない 必須項⽬を減らすと⼊⼒内容 にN/Aが多くなってしまう 回答の必要性が理解できない？ Exploratory User Case - ©DSInnovation, Co., Ltd. 08.20.2021
17. ⽋損値を⾃動で集計 17 08.20.2021 集計作業抜きで、⽋損値の状況を直感的かつ効率的に理解できる。 ⽋損値の割合が⾼い データが揃わなければこの項⽬は あまり有効に活⽤できないか？ ※ダミーデータを利⽤ Exploratory User Case - ©DSInnovation, Co., Ltd.
18. 18 Exploratory User Case - © DSInnovation, Co., Ltd. 08.20.2021 ２.回答内容が怪しい 内容がテストデータのよう いやいや⼊⼒している？ 例．テストデータでよく使われる⽂⾔が ドメインに・・・？
19. 19 08.20.2021 ※ダミーデータを利⽤ 回答が数値の場合 Exploratory User Case - ©DSInnovation, Co., Ltd.
20. 数値を⾃動で集計 20 08.20.2021 異常値に直感的かつ効率的に気付くことができる。 ※ダミーデータを利⽤ 年齢の最⼩値が0？ 最⼤値が110? Exploratory User Case - ©DSInnovation, Co., Ltd.
21. 数値の分布を可視化 21 08.20.2021 異常値に直感的かつ効率的に気付くことができる。 ※ダミーデータを利⽤ 必須項⽬のため⽋損値はないものの 10歳未満、⾼齢のデータが多すぎないか Exploratory User Case - ©DSInnovation, Co., Ltd.
22. 22 08.20.2021 ※ダミーデータを利⽤ 数値の分布の詳細を確認したいときは、 「チャートを作成」アイコンをクリック 数値の分布を可視化 異常なデータの偏りに直感的かつ効率的に気付くことができる。 Exploratory User Case - ©DSInnovation, Co., Ltd.
23. 23 08.20.2021 ※ダミーデータを利⽤ 分布チャートの⾃動⽣成 より細かい粒度でデータにどのような問題があるかを理解できる。 年齢 10歳未満 が こんなに？ 年齢 100歳以上 が こんなに？ Exploratory User Case - ©DSInnovation, Co., Ltd.
24. 24 08.20.2021 回答がカテゴリ（⽂字列）型の場合 Exploratory User Case - ©DSInnovation, Co., Ltd.
25. カテゴリの頻度を⾃動で集計 25 08.20.2021 異常やデータの偏りに直感的かつ効率的に気付くことができる。 ※ダミーデータを利⽤ なるべくデータを⼊⼒したくないという 意思表⽰のようにもみえる Exploratory User Case - ©DSInnovation, Co., Ltd.
26. 26 08.20.2021 ※ダミーデータを利⽤ 集計チャートの⾃動⽣成 より細かい粒度でデータにどのような問題があるかを理解できる。 ⼀概には⾔えないが やはりデータを⼊⼒したくない⼈の 回答が⼀定数⼊っているように⾒える Exploratory User Case - ©DSInnovation, Co., Ltd.
27. 27 Exploratory User Case - ©DSInnovation, Co., Ltd. 08.20.2021 ３.UIの問題でミスリード デフォルト値のまま？ 関係性ができていないため途中で 誤りに気づいても訂正しない？ 例．よかれと設定したデフォルト値が変更 されないまま・・・？
28. 28 08.20.2021 前提としてこのビジネスでは法⼈利⽤者の ⽅が売上が⼤きいことを理解している。 Exploratory User Case - ©DSInnovation, Co., Ltd.
29. 前提知識との照合 29 08.20.2021 実際のデータが持ち合わせている前提知識と、実際に得られているデータ を⽐べる。 ※ダミーデータを利⽤ 法⼈かどうかと、 購⼊⾦額は相関して いるはず Exploratory User Case - ©DSInnovation, Co., Ltd.
30. 相関モード（前提知識との照合） 30 08.20.2021 購⼊⾦額と法⼈/個⼈の区分と購⼊⾦額に相関があるかを⽐べる。 ※ダミーデータを利⽤ Exploratory User Case - ©DSInnovation, Co., Ltd.
31. 相関モード（前提知識との照合） 31 08.20.2021 ※ダミーデータを利⽤ 購⼊⾦額を選択する Exploratory User Case - ©DSInnovation, Co., Ltd.
32. 相関モード（前提知識との照合） 32 08.20.2021 得られた結果から、正しい情報を取得できていないことが⽰唆される。 ※ダミーデータを利⽤ 相関の指標であるR2乗値（0 から1の間をとり、1に近い ほど相関が強い）が低い。 つまり売上との相関が低い 個⼈と法⼈の売上⾦額 の平均の信頼区間が重 なっていて、 有意な差がない Exploratory User Case - ©DSInnovation, Co., Ltd.
33. ドメイン情報の抽出 33 08.20.2021 何が起きているかを確認するために、今度は個⼈を選択したユーザーの ドメインを可視化し、正しい情報がはいっているかを確認したい。 ※ダミーデータを利⽤ Exploratory User Case - ©DSInnovation, Co., Ltd.
34. ドメイン情報の抽出 34 08.20.2021 ※ダミーデータを利⽤ ドメイン情報を抽出できた。 Exploratory User Case - ©DSInnovation, Co., Ltd.
35. 実態の確認 35 08.20.2021 何が起きているかを確認するために、個⼈を選択したユーザーのドメイン 情報を可視化。 フリーメールやプロバイダー ドメインでないものも上位に ※ダミーデータを利⽤ ⼊⼒フォームでは個⼈がデフォルト選択となっており、 法⼈ユーザーもそのまま個⼈として 登録してしまっているのではないか？ Exploratory User Case - ©DSInnovation, Co., Ltd.
36. 結果：⼊⼒データよくある３つの具体的事例への対処 １.回答してくれない 36 Exploratory User Case - ©DSInnovation, Co., Ltd. 08.20.2021 必須項⽬を減らすと⼊⼒内容 にN/Aが多くなってしまう ２.回答内容が怪しい ⼊⼒内容がテストデータのよう ３.UIの問題でミスリード デフォルト値のまま？ 質問の仕⽅、 質問⾃体を変更 データが不要と判断でき れば、会員が躊躇する項 ⽬の収集をやめる デフォルト値の設定を やめる 分析したい内容と収集している項⽬の相関を確認し⾒極めたい
37. 37 08.20.2021 質問の変更やUIを改善することで綺麗な データが得られるようになった。しかし 今後は必要な項⽬だけの⼊⼒を促し、 ユーザーとの関係ができたのちに 追加のデータを提供してもらう ことで両者にとってよりよくなると感じる。 summary Exploratory User Case - ©DSInnovation, Co., Ltd.
38. 次に⽬指したいのは予測 しかし、有効そうな予測結果にいきつくものの訪れる次の壁・・・ 38 データの信頼性があがったので 08.20.2021 Next step Exploratory User Case - ©DSInnovation, Co., Ltd.
39. 予測を納得するための可視化？ - 予測結果に納得したい⼈が多い - わかりやすく説明できないと予測⾃体がボツになる・・・ 今後頑張っていくところ 39 08.20.2021 Exploratory User Case - ©DSInnovation, Co., Ltd.
40. Thank you ! DSInnovation株式会社 / 野尻 梢（Kozue Nojiri） k.nojiri@dsinnovation.co.jp https://dsinnovation.co.jp/ Message 40 08.20.2021 ©DSInnovation, Co., Ltd. Exploratory User case - パーソナルデータ利活⽤への期待が⾼まっている - ⼊⼒されたパーソナルデータという原⽯を活かすためにはデー タラングリングや項⽬間の関係を⾒ることでデータの信頼性を 確認する必要がある - ユーザーとの関係を良好に保ち、ゴミデータを取除くコストを 減らすためにも必要なデータのみをまずは要求し、信頼関係を 築いたのちに追加のデータを提供してもらうべき
41. 41 08.20.2021 おまけ Exploratory User Case - ©DSInnovation, Co., Ltd.