Exploratoryセミナー：時系列データの異常値検出

Twitterのデータサイエンティスト達によってオープンソースとして公開されたAnomalyDetectionという時系列データの異常値を検出するアルゴリズムを、 Exploratoryのアナリティクス・ビューを使って紹介します。

Transcript

1. EXPLORATORY
2. 2 εϐʔΧʔ ੢ా צҰ࿠ CEO EXPLORATORY ུྺ ถΦϥΫϧຊࣾͰɺ16೥ʹΘͨΓσʔλαΠΤϯεͷ։ൃνʔϜΛ཰ ͍ɺػցֶशɺϏοάɾσʔλɺϏδωεɾΠϯςϦδΣϯεɺσʔ λϕʔεʹؔ͢Δ਺ଟ͘ͷ੡඼ΛੈʹૹΓग़͢ɻ 2016೥ॳ಄ʹɺΦʔϓϯιʔεͷੈքͰى͖͍ͯΔσʔλαΠΤϯε ͷֵ৽తͳਐาΛɺੈքͷ99%ͷϓϩάϥϛϯάΛ͠ͳ͍ਓͨͪͷ΋ ͱ΁ಧ͚͍ͨͱ͍͏ࢥ͍ͷ΋ͱɺExploratory, Inc Λ্ཱͪ͛Δɻ ݱࡏ͸Exploratory, Inc.ͰCEOΛ຿ΊΔ͔ͨΘΒɺσʔλαΠΤϯεɾ ϒʔτΩϟϯϓɾτϨʔχϯάͳͲΛ௨ͯ͠γϦίϯόϨʔͰߦΘΕ ͍ͯΔ࠷ઌ୺ͷσʔλαΠΤϯεͷීٴͱڭҭʹऔΓ૊Ήɻ @KanAugust
3. Vision ͢΂ͯͷਓ͕σʔλΛ࢖ͬͯ ΑΓΑ͍ҙࢥܾఆΛ͢Δ
4. Mission ΞφϦςΟΫεͷຽओԽ
5. 5 σʔλ αΠΤϯςΟετ ϓϩάϥϚʔ ͦͷଞ͢΂ͯͷਓୡ γϦίϯόϨʔ
6. 6 ϓϩάϥϚʔ ͦͷଞ͢΂ͯͷਓୡ γϦίϯόϨʔͷ֎ DS
7. 7 ෆެฏͳઓ͍
8. 8 ୈ̏ͷ೾ σʔλαΠΤϯεɺAIɺػցֶश͸౷ܭֶऀɺ։ൃऀͷͨΊ͚ͩͷ΋ͷͰ͸͋Γ·ͤΜɻ σʔλʹڵຯͷ͋ΔਓͳΒ୭΋͕ੈքͰ࠷ઌ୺ͷΞϧΰϦζϜΛ࢖ͬͯ ϏδωεσʔλΛ؆୯ʹ෼ੳͰ͖Δ΂͖Ͱ͢ɻ Exploratory͕ͦ͏ͨ͠ੈքΛՄೳʹ͠·͢ɻ
9. ୈ1ͷ೾ ୈ̎ͷ೾ ୈ̏ͷ೾ ϓϥΠϕʔτ(ߴ͍/ݹ͍) Φʔϓϯɾιʔε(ແྉ/࠷ઌ୺) UI & ϓϩάϥϛϯά ϓϩάϥϛϯά 2016 2000 1976 ϚωλΠθʔγϣϯ ίϞσΟςΟԽ ຽओԽ ౷ܭֶऀ σʔλαΠΤϯςΟετ Exploratory ΞϧΰϦζϜ Ϣʔβʔɾ ମݧ πʔϧ Φʔϓϯɾιʔε(ແྉ/࠷ઌ୺) UI & ࣗಈԽ ϏδωεɾϢʔβʔ ςʔϚ σʔλαΠΤϯεͷຽओԽ
10. 質問 σʔλαΠΤϯεɾϫʔΫϑϩʔ 伝える データアクセス 加⼯ 可視化 機械学習・AI 統計 ϓϩάϥϛϯά
11. 質問 ExploratoryͰ؆୯ʹͰ͖ΔλεΫ 伝える データアクセス 加⼯ 可視化 UI 機械学習/AI・ 統計
12. 質問 伝える データアクセス 加⼯ 可視化 機械学習/AI・ 統計
13. ࣌ܥྻσʔλͷ ҟৗ஋ݕग़
16. ҟৗ஋ݕग़ • ҟৗ஋ݕग़ΞϧΰϦζϜΛ࢖͏ͱɺۚ༥࠮ٗɺ΢Σϒα Πτ΁ͷෆ৹ͳΞΫηεɺػցͷނোͳͲͷ௨ৗͱ͸ ҟͳΔ׆ಈΛݕ஌͢Δ͜ͱ͕Ͱ͖Δɻ • ·ͨɺ΢ΣϒαΠτͷτϨϯυɺސ٬ͷΞΫςΟϏςΟ ͳͲͷτϨϯυΛݟ͚ͭΔ͜ͱ͕Ͱ͖Δɻ
17. “AnomalyDetection” ύοέʔδ • TwitterͷArun KejariwalୡʹΑͬͯ։ൃ͞Εͨɻ • Seasonal Hybrid ESD (S-H-ESD)ͱ͍͏ΞϧΰϦζ ϜΛ࠾༻ɻ͜ͷΞϧΰϦζϜΛ࢖͏ͱɺ࣌ܥྻσʔ λͷقઅੑͱτϨϯυΛՃຯ͠ɺେہతͳҟৗ஋ ΋ہॴతͳҟৗ஋΋྆ํݕग़Ͱ͖Δɻ
18. • ϩʔΧϧͳτϨϯυ (࣌ؒɺ೔ͳͲ) • άϩʔόϧͳτϨϯυ (݄ɺ೥ͳͲ) • جຊతͳτϨϯυύλʔϯ • قઅੑ (ϗϦσʔγʔζϯͳͲ) ҟৗ஋ݕग़
19. Data • Quandl ϑΝΠφϯγϟϧɾσʔλ • גՁͷσʔλ • Google Analytics σʔλ
20. Quandl͔Β ϏοτίΠϯͷ૬৔σʔλΛ औͬͯ͘Δɻ
22. Quandl σʔλιʔεΛΠϯετʔϧ
23. σʔλΛΠϯϙʔτ
24. ϏοτίΠϯՁ֨σʔλͷίʔυΛ୳͢
25. ϏοτίΠϯՁ֨σʔλͷίʔυΛ୳͢
26. ίʔυΛೖྗ BCHARTS/BITSTAMPUSD ։࢝೔Λೖྗ 2017-01-01
29. աڈͷϏοτίΠϯͷՁ֨มಈσʔλ͔Βҟৗ ஋Λݕग़͢Δ
31. 2017೥ͷσʔλ͚ͩʹϑΟϧλʔ͢Δ
33. ϏοτίΠϯɾΩϟογϡ͕ ൃද͞ΕΔ
34. TidyQuantͰגՁσʔλΛ औͬͯ͘Δ
37. Google AnalyticsͷσʔλΛ࢖ͬͯ ҟৗ஋ݕग़
38. Google AnalyticsͷσʔλΛ࢖ͬͯҟৗ஋ݕग़ 1. ϢχʔΫɾϖʔδϏϡʔͷ஋ͷมಈ͔Βҟৗ஋Λݕ ग़͢Δɻ 2. τοϓ̑ͷࠃͦΕͧΕͰͷมಈ͔Βҟৗ஋Λݕग़͢ Δɻ
39. Google AnalyticsͷσʔλΛ࢖ͬͯҟৗ஋ݕग़ 1. ϢχʔΫɾϖʔδϏϡʔͷ஋ͷมಈ͔Βҟৗ஋Λݕ ग़͢Δɻ 2. τοϓ̑ͷࠃͦΕͧΕͰͷมಈ͔Βҟৗ஋Λݕग़͢ Δɻ
44. Google AnalyticsͷσʔλΛ࢖ͬͯҟৗ஋ݕग़ 1. ϢχʔΫɾϖʔδϏϡʔͷ஋ͷมಈ͔Βҟৗ஋Λݕ ग़͢Δɻ 2. τοϓ̑ͷࠃͦΕͧΕͰͷมಈ͔Βҟৗ஋Λݕग़͢ Δɻ
45. ʮͦͷଞʯάϧʔϓΛ࡞Δ τοϓ̑Ҏ֎ͷࠃΛʮͦͷଞʯʹ͢Δ • countryྻΛબͿ • ‘ͦͷଞ’άϧʔϓΛ࡞Δ -> ‘௿ස౓/ߴ ස౓ͷ஋Λ’ͦͷଞ’ʹ͢ΔɹΛબͿ
46. τοϓ͚̑ͩ࢒͢
49. কདྷͷηϛφʔ
50. 12݄19೔(ਫ) • ΞφϦςΟΫεɿK-Means ΫϥελϦϯάͷ঺հ εέδϡʔϧத • ՄࢹԽ - ࣌ܥྻσʔλͷՄࢹԽ • σʔλɾϥϯάϦϯά: ೔෇ɾ࣌ؒσʔλͷՃ޻ https://exploratory.io/online-seminar
52. • ϓϩάϥϛϯάͳ͠ RݴޠͷUIͰ͋ΔExploratoryΛ෼ੳπʔϧͱͯ͠࢖༻͢ΔͨΊडߨத͸ɺϏδωεͷ ໰୊Λղܾ͢ΔͨΊʹඞཁͳσʔλαΠΤϯεͷख๏ͷशಘʹ100ˋूதͰ͖Δ • ෼ੳπʔϧͷϕϯμʔϩοΫΠϯͳ͠ ExploratoryͰͷ࡞ۀ͸શͯಠཱͨ͠ΦʔϓϯιʔεͷR؀ڥͰ࠶ݱ͕Մೳ • ࢥߟྗͱεΩϧͷशಘ σʔλαΠΤϯεͷεΩϧशಘ͚ͩͰͳ͘ɺσʔλ෼ੳʹඞཁͳࢥߟྗ΋शಘͰ͖Δ ಛ௃
53. Q & A
54. ࿈བྷઌ ϝʔϧ kan@exploratory.io ΢ΣϒαΠτ https://ja.exploratory.io ϒʔτΩϟϯϓɾτϨʔχϯά https://ja.exploratory.io/training-jp Twitter @KanAugust