Exploratoryセミナー：日付、時間データの加工と可視化

日付、時間データの加工が自由自在にできるようになるとデータ分析の幅が一気に広がります。様々なデータラングリングの手法を使って、日付、時間データを簡単に加工し、さらに可視化していくことで、より深い理解を得る方法を紹介します。

Transcript

1. EXPLORATORY
2. 2 εϐʔΧʔ ੢ా צҰ࿠ CEO EXPLORATORY ུྺ ถΦϥΫϧຊࣾͰɺ16೥ʹΘͨΓσʔλαΠΤϯεͷ։ൃνʔϜΛ཰ ͍ɺػցֶशɺϏοάɾσʔλɺϏδωεɾΠϯςϦδΣϯεɺσʔ λϕʔεʹؔ͢Δ਺ଟ͘ͷ੡඼ΛੈʹૹΓग़͢ɻ 2016೥ॳ಄ʹɺΦʔϓϯιʔεͷੈքͰى͖͍ͯΔσʔλαΠΤϯε ͷֵ৽తͳਐาΛɺੈքͷ99%ͷϓϩάϥϛϯάΛ͠ͳ͍ਓͨͪͷ΋ ͱ΁ಧ͚͍ͨͱ͍͏ࢥ͍ͷ΋ͱɺExploratory, Inc Λ্ཱͪ͛Δɻ ݱࡏ͸Exploratory, Inc.ͰCEOΛ຿ΊΔ͔ͨΘΒɺσʔλαΠΤϯεɾ ϒʔτΩϟϯϓɾτϨʔχϯάͳͲΛ௨ͯ͠γϦίϯόϨʔͰߦΘΕ ͍ͯΔ࠷ઌ୺ͷσʔλαΠΤϯεͷීٴͱڭҭʹऔΓ૊Ήɻ @KanAugust
3. Vision ͢΂ͯͷਓ͕σʔλΛ࢖ͬͯ ΑΓΑ͍ҙࢥܾఆΛ͢Δ
4. Mission ΞφϦςΟΫεͷຽओԽ
5. 5 ୈ̏ͷ೾ σʔλαΠΤϯεɺAIɺػցֶश͸౷ܭֶऀɺ։ൃऀͷͨΊ͚ͩͷ΋ͷͰ͸͋Γ·ͤΜɻ σʔλʹڵຯͷ͋ΔਓͳΒ୭΋͕ੈքͰ࠷ઌ୺ͷΞϧΰϦζϜΛ࢖ͬͯ ϏδωεσʔλΛ؆୯ʹ෼ੳͰ͖Δ΂͖Ͱ͢ɻ Exploratory͕ͦ͏ͨ͠ੈքΛՄೳʹ͠·͢ɻ
6. ୈ1ͷ೾ ୈ̎ͷ೾ ୈ̏ͷ೾ ϓϥΠϕʔτ(ߴ͍/ݹ͍) Φʔϓϯɾιʔε(ແྉ/࠷ઌ୺) UI & ϓϩάϥϛϯά ϓϩάϥϛϯά 2016 2000 1976 ϚωλΠθʔγϣϯ ίϞσΟςΟԽ ຽओԽ ౷ܭֶऀ σʔλαΠΤϯςΟετ Exploratory ΞϧΰϦζϜ Ϣʔβʔɾ ମݧ πʔϧ Φʔϓϯɾιʔε(ແྉ/࠷ઌ୺) UI & ࣗಈԽ ϏδωεɾϢʔβʔ ςʔϚ σʔλαΠΤϯεͷຽओԽ
7. 質問 σʔλαΠΤϯεɾϫʔΫϑϩʔ 伝える データアクセス 加⼯ 可視化 機械学習・AI 統計 ϓϩάϥϛϯά
8. 質問 ExploratoryͰ؆୯ʹͰ͖ΔλεΫ 伝える データアクセス 加⼯ 可視化 UI 機械学習/AI・ 統計
9. 質問 伝える データアクセス 加⼯ 可視化 機械学習/AI・ 統計
10. ೔෇σʔλͷՃ޻
11. σʔλ • Ϣʔβʔͷߦಈཤྺϩά • ͦΕͧΕͷߦ͸͋Δ΢ΣϒαʔϏεͷɺϢʔβʔΞΫηεΛද͢ɻ • ϢʔβʔIDɺ࣌ࠁɺΠϕϯτλΠϓɺIPΞυϨεɺ࢖༻OS, OSͷ όʔδϣϯͷ̒ྻ͕͋Δɻ • Download EDF 11
13. 13 ࣭໰ 1. ͜ͷσʔλͷظؒ(೔෇ͷ෯)Λ౴͑ͳ͍͞ɻ 2. DAU (σΠϦʔΞΫςΟϒϢʔβʔ) ͸Ͳ͏ͳ͍ͬͯΔ͔ʁ ࣌ؒͱͱ΋ʹͲ͏ભҠ͍ͯ͠Δ͔ʁ 3. Ͳͷ༵೔ͱ࣌ؒଳ͕࠷΋Ϣʔβʔ͕׆ൃ͔ʁ
16. Character vs. Date/Time σʔλɾλΠϓ
17. จࣈܕ vs. ೔෇/࣌ؒ 17
18. จࣈܕ vs. ೔෇/࣌ؒ 18
19. จࣈܕ vs. ೔෇/࣌ؒ After Viz σʔλΛจࣈྻͱͯ͠ ѻ͏ͷΈɻ σʔλͷִ͕ؒຊདྷͷ೔෇ ͷִؒΛແࢹͯ͠ɺ୯७ʹ ౳ִؒʹฒ΂ΒΕ͍ͯΔɻ จࣈྻͱͯ͠ ιʔτ͞Ε͍ͯΔɻ (1݄ͷ࣍ʹ10݄ͷ σʔλ͕ݱΕΔ) データ: Date-unicorn.csv 19
20. จࣈܕ vs. ೔෇/࣌ؒ After Viz ೔෇ؔ਺Λ࢖༷ͬͯʑͳ ͔ͨͪʹσʔλΛม׵Ͱ͖Δ σʔλ͸೔෇ॱʹ ιʔτ͞ΕΔ ຊདྷͷ೔෇ͷִ͕ؒ ଚॏ͞Ε͍ͯΔ 20
21. ೔෇σʔλجૅ 21
22. Date vs. POSIXct 22
23. Date POSIXct Only Date ྆ํ Date & Time
24. 1. CharacterΛDate / POSIXctʹม׵ 2. ೔෇ɺ࣌ؒ৘ใͷநग़ 3. ೔෇ɾ࣌ؒΛ࢖ͬͨϑΟϧλ 4. ظؒ 5. ೔෇ɺ࣌ؒͷؙΊॲཧ 6. λΠϜκʔϯ Α͋͘ΔϥϯάϦϯάͷλεΫ
25. 1. CharacterΛDate / POSIXctʹม׵ 2. ೔෇ɺ࣌ؒ৘ใͷநग़ 3. ೔෇ɾ࣌ؒΛ࢖ͬͨϑΟϧλ 4. ظؒ 5. ೔෇ɺ࣌ؒͷؙΊॲཧ 6. λΠϜκʔϯ Α͋͘ΔϥϯάϦϯά
26. จࣈܕΛ೔෇ܕ΁ม׵ 26
27. ೔෇/࣌ؒʹม׵ 27
28. 28 ೔෇/࣌ؒʹม׵
29. ࣮͸͜Ε͚ͩ஌͍ͬͯΕ͹େৎ෉ • Year (೥) • Month (݄) • Day (೔) • Hour (࣌) • Minute (෼) • Second (ඵ) 29
30. ೔෇ϑΥʔϚοτ 2017-01-01 y m d 2017-01-01 08:10:10 y m d h m s 30
31. ymd("2015-10-01") ymd("2015/10/01") ymd("Created on 2015 October 1st") ymd 31
32. ymd_hms("2015-01-10T06:10:15") ymd_hms("2015/01/10 06:10:15 UTC") ymd_hms("Created on 15-01-10 at 06:10:15 AM") ymd_hms 32
33. mdy("01-10-2015") mdy("01/10/2015") mdy("Created on 1 10 2015") mdy 33
34. mdy_hms("10-01-2015T06:10:15") mdy_hms("10/01/2015T06:10:15") mdy_hms("Created on 10 1 2015") mdy_hms 34
35. 1. CharacterΛDate / POSIXctʹม׵ 2. ೔෇ɺ࣌ؒ৘ใͷநग़ 3. ೔෇ɾ࣌ؒΛ࢖ͬͨϑΟϧλ 4. ظؒ 5. ೔෇ɺ࣌ؒͷؙΊॲཧ 6. λΠϜκʔϯ Α͋͘ΔϥϯάϦϯά
36. ೔෇/࣌ؒͷଐੑ৘ใ • 2017-06-24 36
37. • 2017-06-24 • June • 24th • 2017 • 175th day in 2017 • Saturday ೔෇ͷଐੑ৘ใ • 2017-06-24 37
38. • 2017-01-01 08:10:10 ࣌ؒͷଐੑ৘ใ 38
39. • AM • 8 hours • 10 minutes • 10 seconds • 2017-01-01 08:10:10 ࣌ؒͷଐੑ৘ใ 39
40. month(start_time, label = TRUE) → Jan, Feb, Mar … ໊݄ͷநग़ month(start_time, label = TRUE, abbr=FALSE, locale=“ja_JP”) → 1݄, 2݄, 3݄ … 40
41. ໊݄ͷநग़ ΧϥϜϔομϝχϡʔ͔Β 1. “நग़”Λબ୒ 2. “໊݄”Λબ୒ 41
42. ໊݄ͷநग़ 42
43. ໊݄ͷநग़ (*)࢖༻͍ͯ͠ΔϚγϯͷlocaleͷઃఆʹΑͬͯ݁Ռ͕มΘΔ͜ͱʹ஫ҙɻ ্ه͸ӳޠ൛ͷMacͰͷ࣮ߦ݁Ռ 43
44. localeΛࢦఆ͢Δ ӳޠ൛ͷMacͰ೔ຊޠͰදࣔͤ͞Δ৔߹ 44
45. ໊݄ͷநग़ 45
46. Localeͷࢦఆྫ MacͰӳޠΛදࣔ month(your_date_column, label=TRUE, locale="en_US") MacͰ೔ຊޠΛදࣔ month(your_date_column, label=TRUE, abbr=FALSE, locale=“ja_JP") WindowsͰӳޠΛදࣔ month(your_date_column, label=TRUE, locale="English_United States") WindowsͰ೔ຊޠΛදࣔ month(your_date_column, label=TRUE, abbr=FALSE, locale=“Japanese_Japan") 46
48. wday(start_time, label = TRUE) → Sun, Mon, Tue … ༵೔໊ͷநग़ wday(start_time, label = TRUE, locale=“ja_JP”) → ೔, ݄, Ր … 48
49. ༵೔໊ͷநग़ ΧϥϜϔομϝχϡʔ͔Β 1. “நग़”Λબ୒ 2. “༵೔໊”Λબ୒ 49
51. Ordinal (ॱং) - ॱং෇͖ϑΝΫλʔ • ݄ɺ༵೔͸ΞϧϑΝϕοτॱͰͳ͘ɺ ͦͷॱ൪Ͱιʔτ͞ΕΔ΂͖ • RͷϑΝΫλʔσʔλܕ͸ॱংͷ৘ ใΛαϙʔτ͢Δ • ‘wday’΍’month’ͱ͍ͬͨؔ਺͸͜ͷ ॱংΛߟྀ͢Δ 51
52. 1. CharacterΛDate / POSIXctʹม׵ 2. ೔෇ɺ࣌ؒ৘ใͷநग़ 3. ೔෇ɾ࣌ؒΛ࢖ͬͨϑΟϧλ 4. ظؒ 5. ೔෇ɺ࣌ؒͷؙΊॲཧ 6. λΠϜκʔϯ Α͋͘ΔϥϯάϦϯά
53. ૬ର೔෇ vs. ઈର೔෇
54. ૬ର೔෇ • લ೥ • ࠓ೥ • ࠷ۙ N೥ؒ • ೥ॳདྷ ೥ 54
55. ࠓ೔ 2018 2017 લ೥ ࠓ೥ 2016 ࠷ۙ̎೥ؒ 2019 ೥ॳདྷ ૬ର೔෇ 55
56. ઈର೔෇ • ౳͍͠ / ౳͘͠ͳ͍ • ͲΕ͔ʹ౳͍͠ / ͲΕʹ΋౳͘͠ͳ͍ • ࢦఆ೔ΑΓલ • ࢦఆ೔ΑΓޙ • ೔෇ൣғ 56
57. ࠓ೔ 2018 2017 Year == 2017 Date > 1 ೥લ 2016 Year > 2016 2019 2017-06-01 ͱ 2018-1-30 ͷؒ (Between) ઈର೔෇ 57
58. 2015೥ͷσʔλͷΈऔಘ 58
59. ̍೥લ͔ΒͷσʔλͷΈऔಘ 59
60. 2015-12-01Ҏ߱ͷ σʔλͷΈऔಘ 60
61. 1. CharacterΛDate / POSIXctʹม׵ 2. ೔෇ɺ࣌ؒ৘ใͷநग़ 3. ೔෇ɾ࣌ؒΛ࢖ͬͨϑΟϧλ 4. ظؒ 5. ೔෇ɺ࣌ؒͷؙΊॲཧ 6. λΠϜκʔϯ Α͋͘ΔϥϯάϦϯά
62. ظؒ 2ͭͷ೔෇/࣌ؒܕͷσʔλͷࠩ෼Λɺ೔਺ɺ࣌ؒ਺ɺ෼ ਺ɺඵ਺ͳͲͰ஌Γ͍ͨ 62
63. 3 िؒ 4 िؒ 2 िؒ ࠷ॳͷ೔ ࠷ޙͷ೔ ࠷ॳͷ೔ ࠷ޙͷ೔ ࠷ॳͷ೔ ࠷ޙͷ೔ ظؒ 63
64. ظؒͷܭࢉ
65. last_activity_date - first_activity_date
66. 1. Calculate lifetime for each user
67. 1. ظؒΛܭࢉ͢Δ
68. last_activity_date - first_activity_date
69. ظؒ͸ྻͷσʔλܕ͕೔෇ͷ࣌͸೔਺ɺPOSIXctͷ࣌͸ඵ਺୯ҐͰܭࢉ͞Ε ’difftime’ͱ͍͏σʔλܕͰอ࣋͞ΕΔ
70. 2. ظؒΛ਺஋σʔλʹม׵͢Δ
71. 2. ظؒΛ਺஋σʔλʹม׵͢Δ
72. as.numeric(duration, units = “days”) ‘as.numeric’ ؔ਺ͷதͰ୯Ґ(‘units’)ΛࢦఆͰ͖Δ.
73. 1. CharacterΛDate / POSIXctʹม׵ 2. ೔෇ɺ࣌ؒ৘ใͷநग़ 3. ೔෇ɾ࣌ؒΛ࢖ͬͨϑΟϧλ 4. ظؒ 5. ೔෇ɺ࣌ؒͷؙΊॲཧ 6. λΠϜκʔϯ Α͋͘ΔϥϯάϦϯά
74. ೔෇/࣌ؒͷؙΊॲཧ • ؙΊ (Round) • ੾Γ্͛ (Ceiling) • ੾Γࣺͯ (Floor) 74
75. ೔ʹ੾Γࣺͯ
76. िʹ੾Γࣺͯ ͜͜Ͱ͸Order DateΧϥϜ͸֤िͷ։࢝೔Λࣔ͢
77. ݄ʹ੾Γࣺͯ ͜͜Ͱ͸Order DateΧϥϜ͸֤݄ͷ։࢝೔Λࣔ͢
78. ؙΊ vs. ੾Γ্͛ vs. ੾Γࣺͯ # ؙΊ round_date(Order_Date, unit="week") # ੾Γ্͛ ceiling_date(Order_Date, unit="week") # ੾Γࣺͯ floor_date(Order_Date, unit="week") 78
79. round_date(ymd(“2017-06-24”), unit="week") → “2017-06-25" ؙΊ 79
80. ؙΊ ਫ༵೔ͷਖ਼ޕʹڥքઢ 80
81. ceiling_date(ymd(“2017-06-24”), unit="week") → “2017-06-25" ੾Γ্͛(Ceiling) 81
82. ੾Γ্͛(Ceiling) ೔༵೔ͷޕલ0࣌ʹڥքઢ 82
83. floor_date(ymd(“2017-06-24”), unit="week") → “2017-06-18" ੾Γࣺͯ(Floor) 83
84. ੾Γࣺͯ(Floor) ೔༵೔ͷޕલ0࣌ʹڥքઢ 84
85. ೔෇/࣌ؒͷؙΊ ΧϥϜϔομϝχϡʔ͔Β 1. “ؙΊॲཧ”Λબ୒ 2. “೔෇ͷؙΊॲཧ”Λબ୒ 3. “ि”Λબ୒ िʹؙΊΔʹ͸.. 85
86. ೔෇/࣌ؒͷؙΊ 86
87. 1. CharacterΛDate / POSIXctʹม׵ 2. ೔෇ɺ࣌ؒ৘ใͷநग़ 3. ೔෇ɾ࣌ؒΛ࢖ͬͨϑΟϧλ 4. ظؒ 5. ೔෇ɺ࣌ؒͷؙΊॲཧ 6. λΠϜκʔϯ Α͋͘ΔϥϯάϦϯά
88. • ఱީσʔλ • ౦ژͱϩϯυϯͷؾԹΛൺ΂͍ͨ • ֤ߦʹ͸೔෇/࣌ࠁɺܦ౓ɺҢ౓ɺؾԹ౳ͷΧϥϜ͕͋Δ λΠϜκʔϯ - σʔλ 88
89. Extension Data - Weather
94. 94 ϩϯυϯͷσʔλʹ౦ژͷσʔλΛϚʔδ
95. 95 ϩϯυϯͷσʔλʹ౦ژͷσʔλΛϚʔδ
96. 96 ϩϯυϯͷσʔλʹ౦ژͷσʔλΛϚʔδ
97. ϩϯυϯͱ౦ژͷؾԹσʔλΛ࣌ؒ͝ͱʹൺֱͯ͠ΈΔͱ ϩϯυϯͷ࣌ؒ͝ͱͷฏۉؾԹ͕ Ұ൪ߴ͍ͷ͸ޕޙ2࣌ࠒ → ਖ਼ͦ͠͏ ౦ژͷ࣌ؒ͝ͱͷฏۉؾԹ͕ Ұ൪ߴ͍ͷ͸ޕલ5࣌ࠒ → ??? 97
98. 98 ౦ژͷؾԹσʔλͰ΋λΠϜκʔϯ͕UTCʹͳ͍ͬͯΔͷ͕໰୊
99. ϩϯυϯ ౦ژ (ϩϯυϯ͔Β࣌ࠩ9࣌ؒ) 99
100. UTC (ڠఆੈք࣌) • ੈք֤ࠃͷඪ४࣌ͷج४ͱͳΔ࣌ؒ • POSIXct ͸جຊతʹ͜ͷڠఆੈք࣌ʹ४ͣΔ • UTCͱάϦχοδඪ४࣌͸΄΅ಉ͡ (→ͳͷͰɺલग़ͷάϥϑͰϩϯ υϯͷ࣌ؒ͝ͱͷฏۉؾԹ͸ਖ਼͘͠දࣔ͞Ε͍ͯͨ) 100
101. Japan America/Los_Angeles America/New_York 101
102. with_tz ͋ΔλΠϜκʔϯͰදݱ͞Εͨ࣌ؒΛɺଞͷλΠϜκʔϯͰදݱ͠௚͢ɻ with_tz(ymd_hms("2015-10-01 02:20:34”)) → "2015-09-30 19:20:34 PDT" with_tzͷσϑΥϧτ͸ɺ ϩʔΧϧͷϚγϯͷ λΠϜκʔϯઃఆ (͜ͷ৔߹ɺଠฏ༸ඪ४࣌) 102
103. with_tz with_tz(ymd_hms("2015-10-01 02:20:34”)) → "2015-09-30 19:20:34 PDT" with_tz(ymd_hms("2015-10-01 02:20:34"), tz = "Japan") → "2015-10-01 11:20:34 JST" λΠϜκʔϯ৘ใΛ౉͢͜ͱͰ ೚ҙͷλΠϜκʔϯʹ ೔෇/࣌ؒܕΛม׵ 103
104. 104 ౦ژͷؾԹσʔλͷΧϥϜϝχϡʔ͔ΒλΠϜκʔϯΛม׵Λબ୒
105. 105 ౦ژͷؾԹσʔλͷλΠϜκʔϯΛ”Japan”ʹม׵
106. 106 ౦ژͷؾԹσʔλͷλΠϜκʔϯ͕UTC͔ΒJST(೔ຊඪ४࣌)ʹม׵͞Εͨ
107. ͔͠͠ɻɻɻ 107
108. 108 νϟʔτʹ໭Δͱ·ͩϩϯυϯͷσʔλͱ
 ౦ژͷσʔλͷ͕࣌ؒͣΕ͍ͯΔʂ
109. 109 σʔλ͕Ϛʔδ͞ΕΔͱUTCʹ΋ͲͬͯΔʂ
110. 110 λΠϜκʔϯ͸ҰͭͷྻʹҰछྨ͔͠ࢦఆͰ ͖ͳ͍ͷͰɺϚʔδͷࡍʹɺϩϯυϯͷσʔ λͷྻͷλΠϜκʔϯʹ߹Θͤͯม׵͞Εɺ ઌ΄ͲͷJST΁ͷม׵ͷޮՌ͕Ωϟϯηϧ͞ Ε͍ͯΔɻ
111. ͦ͜Ͱɻɻɻ 111
112. 112 ͦΕͧΕͷσʔλϑϨʔϜͰ࣌ؒΛநग़͓ͯ͘͠ Ϛʔδ͢Δલʹ࣌ؒ Λநग़
113. 113 ౦ژͷσʔλϑϨʔϜͰ΋࣌ؒΛநग़͓ͯ͘͠
114. 114 ϩϯυϯͷσʔλϑϨʔϜʹ͋Δνϟʔτʹ໭Γɺ
 நग़ͨ࣌ؒ͠ͷྻΛX࣠ʹׂΓ౰ͯΔɻ
115. 115 ϩϯυϯͱ౦ژͷ࣌ؒʹΑΔฏۉؾԹͷਪҠΛൺ΂Δ͜ͱ͕Ͱ͖Δɻ
116. ΫϨδοτ
117. lubridate Do more with dates and times in R https://lubridate.tidyverse.org Garrett Grolemund Hadley Wickham Vitalie Spinu
118. কདྷͷηϛφʔ
119. 1݄16೔ (ਫ) ޕલ9࣌-10࣌ʢ೔ຊ࣌ؒʣ • σʔλɾϥϯάϦϯάɿςΩετɾσʔλͷՃ޻ - جૅฤ εέδϡʔϧத • ػցֶशͱ౷ܭϞσϧ • σʔλɾϥϯάϦϯάɿςΩετɾσʔλͷՃ޻ - ਖ਼نදݱೖ໳ https://exploratory.io/online-seminar-jp
121. • ϓϩάϥϛϯάͳ͠ RݴޠͷUIͰ͋ΔExploratoryΛ෼ੳπʔϧͱͯ͠࢖༻͢ΔͨΊडߨத͸ɺϏδωεͷ ໰୊Λղܾ͢ΔͨΊʹඞཁͳσʔλαΠΤϯεͷख๏ͷशಘʹ100ˋूதͰ͖Δ • ෼ੳπʔϧͷϕϯμʔϩοΫΠϯͳ͠ ExploratoryͰͷ࡞ۀ͸શͯಠཱͨ͠ΦʔϓϯιʔεͷR؀ڥͰ࠶ݱ͕Մೳ • ࢥߟྗͱεΩϧͷशಘ σʔλαΠΤϯεͷεΩϧशಘ͚ͩͰͳ͘ɺσʔλ෼ੳʹඞཁͳࢥߟྗ΋शಘͰ͖Δ ಛ௃
122. Q & A
123. ࿈བྷઌ ϝʔϧ kan@exploratory.io ΢ΣϒαΠτ https://ja.exploratory.io ϒʔτΩϟϯϓɾτϨʔχϯά https://ja.exploratory.io/training-jp Twitter @KanAugust