データ分析の不都合な真実 / inconvenient truth on data analytics

社内勉強会 ( PERSOL Group Tech Talk #4 ) の発表資料

Transcript

1. データ分析 の 不都合な真実 Yusuke.Komatsu@usk81 Photo by Adeboro Odunlami on Unsplash
2. データ分析 の 不都合な真実 Yusuke.Komatsu@usk81 Photo by Adeboro Odunlami on Unsplash β version
3. ⾃⼰紹介 { "basics": { "name": "Yusuke Komatsu" }, "skills": [ {"name": "Web Development"}, {"name": "Data Analyst"} ], "interests": [ {"name": "Coffee"}, {"name": "Fortnite"}, {"name": "Machine Larning"} ] }
4. 結論 ・データ分析も、開発の仕様と同様に事前・事後の認識合わせは キチンと⾏いましょう ・⼀⾒、有⽤に⾒えたとしてもバックグラウンドのわからない
 データは使わない ・科学的に⽴証できない予測は予測ではなくて仮説 ・機械学習は魔法の杖じゃない。使い⽅を間違えないように
5. おすすめ（Exploratory）
6. おすすめ（書籍）
7. –Nate Silver “私たちはシグナルを探そうとしてノイズを集めている”
8. ウォーミングアップ
9. AI作って くれない？ Photo by Mathew Schwartz on Unsplash AIでなんとか なるでしょ！？
10. A. はいわかりました！！
11. ルールベースでプログラム書くだけでもAI
12. ルールベースでプログラム書くだけでもAI ೥ʙ೥୅ʹྲྀߦͬͨɻ໾ʹཱͨͳ͔ͬͨ
13. 訂正) Q. 機械学習でなんとかなりませんか？
14. A. 無理ですね。
15. ジョークですよ
16. ここからまじめ(？)にいきます
17. 仮説と予測 Photo by Lukas Blazek on Unsplash
18. 予測とは ・つまりは！！ ・何かしらの根拠（科学的裏付け）がある ・検証が可能である ・予測モデルの作成・予測結果が再現可能である ・予測 ≒仮説（予想）＋ 根拠（正当性） 将来の出来事や有様を何らかの根拠に⽴って推し測ること
19. 仮説とは ・これ全部仮説。 ・根拠のない結論 ・検証が不可能 ・予測結果が再現不可能 現象を説明しあるいは法則を⾒出すために、設けられる基本的な仮定
20. 予測… できてました？
21. あなたが思っている 確率の算出は おそらく間違っている
22. あなたが思っている確率の算出はおそらく間違っている 例）降⽔確率10％ってどういう意味？
23. ☓ ⾬の⽇が10⽇あったら1回は⾬が降る
24. ◦ 同じ気象条件の⽇が10⽇あったら1回は⾬が降る
25. 分析前に定義を明確にする
26. 予測精度100%はありえない
27. A. 所持しているデータはサンプルにすぎない 検証・予測したいデータをすべて （今保持していないものも含む） ⺟集団
28. A. 所持しているデータはサンプルにすぎない ⺟集団 サンプル ⺟集団から無作為に 抽出したάルーϓ
29. A. 所持しているデータはサンプルにすぎない ⺟集団 サンプルは⺟集団と 異なる属性を⺬すかもしれない サンプルA サンプルB サンプルC
30. でも予測精度100%はおこりうる
31. 過去に出会った予測精度100% 正答率 100% 原因はデータの偏り ↓ 予測モデルがカンニングし てるような状態
32. 80%位でも⼤変なんだよ
33. 単純な定量分析は 正しいとは限らない Photo by Mathew Schwartz on Unsplash
34. 単純な定量分析が正しいとは限らない よく⾒る定量分析のグラフ です。 アイスクリームの売上と⽐ 例して、何かが増加してい ることを⺬しています。
35. 単純な定量分析が正しいとは限らない アイスクリームの売上が上がると、 サメに襲われる件数が増える
36. 単純な定量分析が正しいとは限らない アイスクリームの売上が上がると、 サメに襲われる件数が増える
37. 単純な定量分析が正しいとは限らない 気温が上がる アイスが売れる サメに襲われる 海に⾏く⼈が増える 冷たいものが⾷べたい 相関 相関 独⽴
38. 関係性があるように⾒えても⼤抵は無関係!!
39. Photo by Christian Erfurt on Unsplash データの背景を 知らないと結論を誤る
40. データの背景を知らないと結論を誤る 訳） これは私のお気に⼊りの インフォグラフィックの ひとつです。 過去2世紀の間にどれだけ の⽣活が改善されたかを 過⼩評価している⼈は多 くいます
41. データの背景を知らないと結論を誤る 訳） これは私のお気に⼊りの インフォグラフィックの ひとつです。 過去2世紀の間にどれだけ の⽣活が改善されたかを 過⼩評価している⼈は多 くいます
42. データの背景を知らないと結論を誤る w ۃ౓ͷශࠔʢ໌೔ࢮ͵͔΋͠Εͳ͍ʣਓͨͪͷਪҠΛදͨ͠΋ͷ
    w ශࠔ૚શମΛදͨ͠΋ͷͰ͸ͳ͍
    w ͗Γ͗ΓೖΒͳ͔ͬͨਓ͕Ͳͷ͘Β͍͍Δ͔Θ͔Βͳ͍
    w Ή͠Ζ૿͑ͯΔ͔΋͠Εͳ͍
    w σʔλιʔε͕֤ੈ୅Ͱόϥόϥ
    w ՟ฎՁ஋͕ݻఆ͞Ε͍ͯΔ なにがよくなかったか？
43. 背景のわからないデータを安易に信じない！！
44. ⽣のデータなんて 存在しない Photo by Mark Basarab on Unsplash
45. ⽣のデータなんて存在しない ref. https://www.thenewatlantis.com/publications/why-data-is-never-raw
46. ⽣のデータなんて存在しない データ リソース ⼈間が 理解できる 理解できない プログラムが 処理できる 処理できない 型定義が ある ない 作成者の主観が ⼊っている ない (⼊る前の状態) ロジックが 紛れている （グルーピングなど） ない ˞͜͜Ͱ͸ɺศ্ٓσʔλԽ͞ΕΔલͷऔಘݩ͕࣋ͭ৘ใΛ
    ɹϦιʔεͱఆٛ͠·͢
47. データは取得時すでに加⼯済み
48. Raw data = 作成直後のデータ