Exploratory: データラングリング：テキスト・データの加工

ExploratoryとRを使った、テキスト・データを加工するための様々なデータラングリングの手法を紹介します。

Transcript

1. EXPLORATORY
2. 2 εϐʔΧʔ ੢ా צҰ࿠ CEO EXPLORATORY ུྺ ถΦϥΫϧຊࣾͰɺ16೥ʹΘͨΓσʔλαΠΤϯεͷ։ൃνʔϜΛ཰ ͍ɺػցֶशɺϏοάɾσʔλɺϏδωεɾΠϯςϦδΣϯεɺσʔ λϕʔεʹؔ͢Δ਺ଟ͘ͷ੡඼ΛੈʹૹΓग़͢ɻ 2016೥ॳ಄ʹɺΦʔϓϯιʔεͷੈքͰى͖͍ͯΔσʔλαΠΤϯε ͷֵ৽తͳਐาΛɺੈքͷ99%ͷϓϩάϥϛϯάΛ͠ͳ͍ਓͨͪͷ΋ ͱ΁ಧ͚͍ͨͱ͍͏ࢥ͍ͷ΋ͱɺExploratory, Inc Λ্ཱͪ͛Δɻ ݱࡏ͸Exploratory, Inc.ͰCEOΛ຿ΊΔ͔ͨΘΒɺσʔλαΠΤϯεɾ ϒʔτΩϟϯϓɾτϨʔχϯάͳͲΛ௨ͯ͠γϦίϯόϨʔͰߦΘΕ ͍ͯΔ࠷ઌ୺ͷσʔλαΠΤϯεͷීٴͱڭҭʹऔΓ૊Ήɻ @KanAugust
3. Vision ͢΂ͯͷਓ͕σʔλΛ࢖ͬͯ ΑΓΑ͍ҙࢥܾఆΛ͢Δ
4. Mission ΞφϦςΟΫεͷຽओԽ
5. 5 ୈ̏ͷ೾ σʔλαΠΤϯεɺAIɺػցֶश͸౷ܭֶऀɺ։ൃऀͷͨΊ͚ͩͷ΋ͷͰ͸͋Γ·ͤΜɻ σʔλʹڵຯͷ͋ΔਓͳΒ୭΋͕ੈքͰ࠷ઌ୺ͷΞϧΰϦζϜΛ࢖ͬͯ ϏδωεσʔλΛ؆୯ʹ෼ੳͰ͖Δ΂͖Ͱ͢ɻ Exploratory͕ͦ͏ͨ͠ੈքΛՄೳʹ͠·͢ɻ
6. ୈ1ͷ೾ ୈ̎ͷ೾ ୈ̏ͷ೾ ϓϥΠϕʔτ(ߴ͍/ݹ͍) Φʔϓϯɾιʔε(ແྉ/࠷ઌ୺) UI & ϓϩάϥϛϯά ϓϩάϥϛϯά 2016 2000 1976 ϚωλΠθʔγϣϯ ίϞσΟςΟԽ ຽओԽ ౷ܭֶऀ σʔλαΠΤϯςΟετ Exploratory ΞϧΰϦζϜ Ϣʔβʔɾ ମݧ πʔϧ Φʔϓϯɾιʔε(ແྉ/࠷ઌ୺) UI & ࣗಈԽ ϏδωεɾϢʔβʔ ςʔϚ σʔλαΠΤϯεͷຽओԽ
7. 質問 σʔλαΠΤϯεɾϫʔΫϑϩʔ 伝える データアクセス 加⼯ 可視化 機械学習・AI 統計
8. 質問 ExploratoryͰ؆୯ʹͰ͖ΔλεΫ 伝える データアクセス 加⼯ 可視化 機械学習/AI・ 統計
9. ςΩετɾσʔλΛૢΔ
10. جૅ
11. ਖ਼نදݱ ςΩετ͔Β਺஋Λநग़͢Δ [\d,]+(\.\d+)? “ϏοτίΠϯͷҝସϨʔτ͸288,425.12ԁͰ͢ɻ” 288,425.12
12. @[[a-zA-Z0-9].-]+$ “kan@exploratory.io” exploratory.io emailΞυϨε͔ΒυϝΠϯΛநग़͢Δ ਖ਼نදݱ
13. ͔͠͠ɺ ॏཁͳςΩετॲཧͷଟ͘͸ਖ਼نදݱͳ͠Ͱ Ͱ͖Δɻ
14. ॏཁͳςΩετૢ࡞ 1. ਺ࣈ΁ͷม׵ 2. จࣈྻΛݟ͚ͭΔ 3. ෳ਺ͷྻ΁ͷ෼ׂ 4. ෳ਺ͷߦ΁ͷ෼ׂ 5. ΫϦʔϯΞοϓ 6. ஔ׵͢Δ 7. Ұ෦Λൈ͖ग़͢ 8. ݁߹͢Δ
15. આ໌ - σʔλ • Ϣʔβʔ৘ใ • ͦΕͧΕͷߦ͸ɺ͋Δ΢ΣϒαʔϏεͷϢʔβʔΞΧ΢ϯτ৘ใΛද͢ • 4,386 ݅ͷϢʔβʔΞΧ΢ϯτ • ֤ϢʔβʔΞΧ΢ϯτʹ͸ɺemailɺ ੏ɺ໊ɺࠃɺڵຯɺ࢖༻OS౳ͷྻ ͕͋Δ
18. ਺ࣈ΁ͷม׵
19. ਺ࣈ΁ͷม׵ - ໰୊ average_monthly_spendingྻ͸จࣈܕͷ σʔλܕ͕ͩɺ͔ͦ͜Β਺஋ΛऔΓग़͠ ͍ͨɻ
20. ΧϥϜϔομϝχϡʔ͔Β 1. “σʔλλΠϓΛม׵”Λબ୒ 2. “਺஋ʹม׵”Λબ୒ ਺ࣈ΁ͷม׵ - ݺͼग़͠
21. ਺ࣈ΁ͷม׵ - ݺͼग़͠
22. จࣈྻΛݟ͚ͭΔ
23. จࣈྻΛݟ͚ͭΔ - ໰୊ ԿਓͷϢʔβʔ͕gmailΛ࢖͍ͬͯΔ͔ʁ
24. ΧϥϜϔομϝχϡʔ͔Β 1. “ςΩετσʔλΛૢ࡞”Λબ୒ 2. “͜ͷจࣈྻΛؚΉ͔Ͳ͏͔”Λબ୒ จࣈྻΛݟ͚ͭΔ - ݺͼग़͠
25. จࣈྻΛݟ͚ͭΔ - ݺͼग़͠
26. ΋͠emailΞυϨε͕gmailͳΒ ͜ͷྻͷ஋͸TRUEʹͳΔɻ จࣈྻΛݟ͚ͭΔ - ݺͼग़͠
27. จࣈྻΛݟ͚ͭΔ - ݺͼग़͠ gmailΛ࢖͍ͬͯΔϢʔβʔ͸ 592ਓͰશମͷ13.50%
28. ෳ਺ͷྻ΁ͷ෼ׂ
29. emailΞυϨεΛ໊લͷ෦෼ͱυϝΠϯͷ ෦෼ʹ෼ׂ͍ͨ͠ɻ ෳ਺ͷྻ΁ͷ෼ׂ - ໰୊
30. ΧϥϜϔομϝχϡʔ͔Β 1. “෼ׂ”Λબ୒ 2. “…Ͱྻʹ෼ׂ”Λબ୒ 3. “ΧελϜ”Λબ୒ ෳ਺ͷྻ΁ͷ෼ׂ - ݺͼग़͠
31. ෳ਺ͷྻ΁ͷ෼ׂ - ݺͼग़͠
32. ෳ਺ͷྻ΁ͷ෼ׂ - ݺͼग़͠
33. ෳ਺ͷߦ΁ͷ෼ׂ
34. ෳ਺ͷߦ΁ͷ෼ׂ - ໰୊ Ϣʔβʔͷڵຯ(͔̍ͭͦΕҎ্)͕ ΧϯϚ۠੾ΓͰinterestsͱ͍͏ྻ ʹ֨ೲ͞Ε͍ͯΔ͕ɺڵຯҰͭʹ ͍ͭͯҰߦʹ͍ͨ͠ɻ
35. ΧϥϜϔομϝχϡʔ͔Β 1. “෼ׂ”Λબ୒ 2. “…Ͱߦʹ෼ׂ”Λબ୒ 3. “Comma(,)” ෳ਺ͷߦ΁ͷ෼ׂ - ݺͼग़͠
36. ෳ਺ͷߦ΁ͷ෼ׂ - ݺͼग़͠
37. “interests” ྻͷ஋͸ ΧϯϚͰ۠੾ͬͯෳ਺ͷߦ΁෼ׂ͞Εͨɻ ෳ਺ͷߦ΁ͷ෼ׂ - ݺͼग़͠
38. ΋͋͠ΔϢʔβʔ͕ෳ਺ͷ߲໨Λ “interests”ྻʹೖΕ͍ͯͨ৔߹ɺ ߲໨Ұͭʹରͯ͠ߦ͕ҰߦͰ͖͍ͯΔͷ ͕Θ͔Δ ෳ਺ͷߦ΁ͷ෼ׂ - ݺͼग़͠
39. ΫϦʔϯΞοϓ
40. ΫϦʔϯΞοϓ - ໰୊ σʔλʹվߦίʔυ(\n)΍ɺλϒ(\t)ͱ ͍ͬͨෆඞཁͳจࣈ͕͍ࠞͬͯ͟Δ͜ ͱ͕͠͹͠͹͋Δɻ͜ͷෆඞཁͳจࣈ ʹΑͬͯɺ్୺ʹσʔλ͕ѻ͍ʹ͘͘ ͳΔɻྫ͑͹ɺಉ໊͡લͳͷʹɺผͷ ໊લͱͯ͠ೝࣝ͞Εͯ͠·͏ͱ͍͏͜ ͱ͕ى͜Δɻ͜͏ͨ͜͠ͱΛ๷͙ͨΊ ʹɺσʔλΛΫϦʔϯΞοϓ͢Δɻ
41. ΧϥϜϔομϝχϡʔ͔Β 1. “ςΩετΛૢ࡞”Λબ୒ 2. “ςΩετσʔλΛΫϦʔϯΞοϓ” Λબ୒ ΫϦʔϯΞοϓ - ݺͼग़͠
42. ΫϦʔϯΞοϓ - ݺͼग़͠
43. ஔ׵͢Δ
44. ஔ׵͢Δ - ໰୊ interestsྻΛΑ͘ݟΔͱɺ“Tech”ͱ “Technology”͕ࠞࡏ͍ͯ͠Δͷʹؾ෇͘ɻͲ ͪΒ΋جຊతʹ͸ಉ͡ͳͷͰɺ྆ํ·ͱΊͯɺ “Tech”ʹ͍ͨ͠ɻ
45. ஔ׵͢Δ - ݺͼग़͠ ΧϥϜϔομϝχϡʔ͔Β 1. “ςΩετΛૢ࡞”Λબ୒ 2. “ஔ׵”Λબ୒
46. ஔ׵͢Δ - ݺͼग़͠
47. Technology͕Techʹஔ׵͞Εͨ
48. Ұ෦Λൈ͖ग़͢
49. Ұ෦Λൈ͖ग़͢ - ໰୊ ϑΝʔετωʔϜ͔Β࠷ॳͷ 1จࣈ(Πχγϟϧ)Λൈ͖ग़͠ ͍ͨɻ
50. Ұ෦Λൈ͖ग़͢ - ݺͼग़͠ ΧϥϜϔομϝχϡʔ͔Β 1. “ςΩετΛૢ࡞”Λબ୒ 2. “ςΩετͷൣғΛநग़”Λબ୒
51. ࠷ॳͷ਺ࣈ (1)͸։࢝Ґஔ ̎൪໨ͷ਺ࣈ (͜Ε΋·ͨ1)͸ऴྃҐஔ Ұ෦Λൈ͖ग़͢ - ݺͼग़͠
52. ݁߹͢Δ
53. last_name first_name_initial Nishida K ݁߹͢Δ - ໰୊ ϑΝʔετωʔϜͷ̍จࣈͱɺϥετωʔϜશ෦ΛΞϯμʔ είΞ(_)Λ࢖ͬͯ݁߹͠ɺϢʔβʔ໊Λ࡞Γ͍ͨɻ username K_Nishida
54. ݁߹͢Δ - ݺͼग़͠ ΧϥϜϔομϝχϡʔ͔Β 1. “ςΩετΛૢ࡞”Λબ୒ 2. “ςΩετΛ࿈݁”Λબ୒
55. ࿈͍݁ͨ͠จࣈྻΛΧϯϚ(,)Ͱ۠੾ͬͯ str_cͷதʹฒ΂Δɻ ݁߹͢Δ - ݺͼग़͠
56. ݁߹ͯ͠usernameྻ͕࡞੒͞ΕΔ
57. ΫϨδοτ
58. stringr Simple & Consistent Functions for Common String Operations https://stringr.tidyverse.org Hadley Wickham
60. • ϓϩάϥϛϯάͳ͠ RݴޠͷUIͰ͋ΔExploratoryΛ෼ੳπʔϧͱͯ͠࢖༻͢ΔͨΊडߨத͸ɺϏδωεͷ ໰୊Λղܾ͢ΔͨΊʹඞཁͳσʔλαΠΤϯεͷख๏ͷशಘʹ100ˋूதͰ͖Δ • ෼ੳπʔϧͷϕϯμʔϩοΫΠϯͳ͠ ExploratoryͰͷ࡞ۀ͸શͯಠཱͨ͠ΦʔϓϯιʔεͷR؀ڥͰ࠶ݱ͕Մೳ • ࢥߟྗͱεΩϧͷशಘ σʔλαΠΤϯεͷεΩϧशಘ͚ͩͰͳ͘ɺσʔλ෼ੳʹඞཁͳࢥߟྗ΋शಘͰ͖Δ ಛ௃
61. Q & A
62. ࿈བྷઌ ϝʔϧ kan@exploratory.io ΢ΣϒαΠτ https://ja.exploratory.io ϒʔτΩϟϯϓɾτϨʔχϯά https://ja.exploratory.io/training-jp Twitter @KanAugust
63. ෇࿥
64. จࣈྻؔ਺ͷνʔτγʔτ