前処理勉強会_発表資料_MITTI_20210724.pdf

Transcript

1. લॲཧΛRͰ΍ͬͯΈͨʂ 
 DPCσʔλʹ௅ઓʂ 1 2021/07/24 MITTI

2. ϑΥϧμͷ४උ .*55*ͷൃදͰ͸ҎԼͷߏ଄ͰϑΥϧμΛ࡞͍ͬͯ·͢
   3Ͱ΋Ͱ͖·͕࣌ؒ͢ͷ౎߹্ল͘ͷͰࣄલʹ࡞੒͢ΔͱਐΊ΍͍͢Ͱ͢ 2 ϓϩδΣΫτ
   ϑΥϧμ JOQVU TVNNBSZ .%$@@ PVUQVU

   JOQVU .%$@@

3. μ΢ϯϩʔυ 3 ͜ͷ4೥෼ ࢪઃ֓ཁද ʢ̔ʣ࣬ױผखज़ผूܭ MDC07 ˎ2016,2017೥͸2ͭʹ෼͔Ε͍ͯΔ MDC07ɿ੔ܗ֎Պ

4. μ΢ϯϩʔυͱอଘϑΝΠϧ໊ ͜ͷϑΥϧμ໊ͱϑΝΠϧ໊ͰਐΊ·͢ 4 ϓϩδΣΫτ
   ϑΥϧμ JOQVU TVNNBSZ .%$@@ PVUQVU TVNNBSZ

   .%$@@ ʢ̔ʣ࣬ױผखज़ผूܭ MDC07 ࢪઃ֓ཁද

5. ࣄલ४උ 5 #ࠓճ͸tidyverseύοέʔδΛ࢖͍·͢ɻ #Πϯετʔϧͨ͜͠ͱͳ͍ํ͸ઌʹΠϯετʔϧ install.packages(“tidyverse") #ͲͪΒͷൃදͰ΋࢖͍·͢ #Πϯετʔϧͨ͠ύοέʔδͷݺͼग़͠ library(tidyverse) #ࠓճ͸ಛʹdplyr,tidyr,stringr,purrrΛ࢖༻ library(readxl)

   #excelͷಡΈࠐΈʹ࢖༻

6. ୀӃױऀௐࠪ 6 https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html

7. ख࡞ۀͰͰ͖Δʁ 7 ෳ਺ྻ໊ ࡏӃ೔਺
   ͍Βͳ͍ ϋΠϑϯ
   ͍Βͳ͍ ೥౓͕มΘΔͱ
   ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
   

   පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ
   ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
   º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ
   Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
   ൪߸ҧ͏͜ͱ͕͋Δ
   ௨൪ʹલͷ೥ͷࠂࣔ൪߸

8. ͜ΕͳΒ෼ੳʹ͔͚ͨΓάϥϑ͕࡞ΕΔ 8 ೥౓ͰมΘΔ൪߸Λ
   ἧ͑ͨ ࢢொଜ໊෇͚ͨ ෳ਺೥Λͭͳ͛ͨ ප໊Ͱ΋ݕࡧͰ͖Δ ਓ਺͚ͩʹͨ͠

9. ࠓճͷલॲཧ ˔UJEZʢ੔વσʔλʣʹ͢Δ
   ˔จࣈྻॲཧ
   ˔܁Γฦ͠ॲཧʹରԠ͢Δ
   ˔ؔ਺Ͱ·ͱΊΔ 9

10. UJEZʢ੔વσʔλʣͱ͸ʁ
    8JLJQFEJB༷ΑΓ
    IUUQTKBXJLJQFEJBPSHXJLJ5JEZ@EBUB 10

11. σʔλͷ੔ܗɿUJEZS 11 ࡶવσʔλ %>% pivot_longer ( col = c("6࣌", "12࣌",

    “18࣌”) , names_to = “࣌ࠁ” , values_to = “ఱؾ”)

12. UJEZʹ͢ΔͨΊͷઓ͍ 12 5JEZ /PU
    5JEZ

13. ࠓճͷલॲཧ ˔UJEZʢ੔વσʔλʣʹ͢ΔɿUJEZS
    ˔จࣈྻॲཧɿTUSJOHS
    ˔܁Γฦ͠ॲཧʹରԠ͢ΔɿQVSSS
    ˔ؔ਺Ͱ·ͱΊΔɿGVODUJPO
    ˔͚ͬͭ͘ΔɿKPJO 13

14. จࣈྻॲཧɿTUSJOHS 14 TUSJOHS ୅දతͳؔ਺ આ໌ ݕࡧ TUS@EFUFDU ͋Δจࣈྻؚ͕·Ε͍ͯͨΒ536& நग़ TUS@FYUSBDU

    
    TUS@FYUSBDU@BMM
    TUS@TVC ͋ΔύλʔϯʹҰக͢ΔจࣈྻΛநग़
    ࠷ॳʢ࠷ޙʣ˓จࣈΛநग़ ஔ͖׵͑ TUS@SFQMBDF
    TUS@SFQMBDF@BMM ύλʔϯʹϚονͨ͠ՕॴΛஔ׵ Ճ޻ TUS@D จࣈྻΛ͚ͬͭ͘Δ https://kazutan.github.io/kazutanR/stringr-intro.html ͕ৄ͍͠Ͱ͢ʂ

15. TUSJOHSͱਖ਼نදݱ 15 ྫʣ“MDC_02_8_07_2019.xlsx"ͱ͍͏ϑΝΠϧ໊͔Β৭ʑऔΓग़͍ͨ͠ str_extract(“จࣈྻ”, “৚݅” ) ৚݅ʹ͸৭ʑͳࢦఆ͕Ͱ͖Δ [ ] ͜ͷதʹ͋Δ਺஋ɾจࣈɾه߸

    \\d ਺஋ \\D จࣈ . ͳΜͰ΋O K * 0ճҎ্ͷ܁Γฦ͠ { } ׅހ಺ͷ਺͚ͩ܁Γฦ͠ ^ จࣈྻͷઌ಄ $ จࣈྻͷ࠷ޙ fi MF
    
    l.%$@@@@YMTY
    TUS@FYUSBDU fi MF z<aaE>\^z
    TUS@FYUSBDU fi MF z.%$ <aaE>\^z
    TUS@FYUSBDU fi MF
    l<>Y z
    ਺஋4ܻ MDCɹ೚ҙͷ܁Γฦ͠ɹ਺஋4ܻ .(ه߸ͷυοτ)ɹ xɹɹɹ೚ҙͷ܁Γฦ͠

16. ˔UJEZʢ੔વσʔλʣʹ͢Δ
    ˔จࣈྻॲཧ
    ˔܁Γฦ͠ॲཧʹରԠ͢Δ
    ˔ؔ਺Ͱ·ͱΊΔ 16

17. 17 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ
    ܁Γฦ͠
    QVSSS

18. ͚ͬͭ͘ΔɿEQMZSKPJO 18 https://github.com/rstudio/cheatsheets/raw/master/data-transformation.pdf

19. ˔UJEZʢ੔વσʔλʣʹ͢Δ
    ˔܁Γฦ͠ॲཧʹରԠ͢Δ
    ˔จࣈྻॲཧ
    ˔ؔ਺Ͱ·ͱΊΔ 19

20. ؔ਺Ͱ·ͱΊΔϝϦοτͱϙΠϯτ ˔ෆཁͳม਺͕ݮΔ
    ˔ଞͷϑΝΠϧͰ΋ར༻Ͱ͖ΔɻNBQ͕࢖͍΍͘͢ͳΔɻ 20 ؔ਺಺Ͱ࢖ΘΕΔม਺͸ ࢒Βͳ͍ ϑΥϧμ಺ʹ͋ΔϑΝΠϧΛ ·ͱΊͯಡΈࠐΊΔ

21. ؔ਺Ͱ·ͱΊΔϝϦοτͱϙΠϯτ ˔͋Δ೥্͕ख͍͔ͬͨ͘Βͱ͍ͬͯҧ͏೥Ͱ΋্ख͘ߦ͔͘͸֬ೝඞཁ
    ɹɾYMT͕YMTYʹมΘͬͯ΋ରԠͰ͖Δίʔυ 
 ɹɾΤϥʔ͕ग़ͨΒͦͷ౎౓௚ؔ͠਺ʹܧ͗଍͍ͯ͘͠ 21

22. ۩ମྫ 22

23. ࠂࣔ൪߸Λଗ͑ΔͨΊͷલॲཧ 23

24. σʔλΛ֬ೝ ɾཉ͍͠σʔλ͸͚ͩ͜͜ 
 ɾ˞ͷϚʔΫ͍Βͳ͍ 
 ɾ೥౓ͷྻΛ଍͍ͨ͠ 
 ɾվߦ͍Βͳ͍ 24 ▶︎

    ͜Ε͚ͩͳΒ௚઀ίʔυ͔͚ͦ͏

25. ೥౓Ͱྻ໊͕มΘ͍ͬͯͳ͍͔νΣοΫ 25 1ʙ3ྻ໨ͱ”ࢪઃ໊”ͷྻ͚ͩཉ͍͠ʂ select(1:3, “ࢪઃ໊”)

26. SFBE@FYDFMͰಡΈࠐΉ 26 read_excel ( path=ϑΝΠϧͷύε , sheet=γʔτͷ໊લ͔˓൪໨ͷγʔτ, #ࢦఆ͠ͳ͚Ε͹1ຕ໨ͷγʔτ skip=ઌ಄ʹ͍Βͳ͍ߦ͕͋Ε͹ࢦఆ ,

    col_names=ྻ໊Λࢦఆ͍ͨ͠৔߹ʢFALSEʹ͢Δͱྻ໊ΛಡΈࠐ·ͳ͍ʣ , n_max=Կߦ໨·ͰಡΈࠐΉ͔ʁ ) ଓ͖͸σϞͰʂ

27. ࡞ͬͨ΋ͷΛؔ਺ʹ͢Δ 27 ଓ͖͸σϞͰʂ

28. ࠂࣔ൪߸ͱ௨൪ͷؔ܎ 28 ৽͍͠೥౓ͷ௨൪ͱݹ͍೥౓ͷࠂࣔ൪߸ͷ਺ࣈ͕߹͏Α͏ʹjoin͢Δ ৽͍͠೥౓ %>% left_join(ݹ͍೥౓, by = c(“௨൪” =

    “ࠂࣔ൪߸”)

29. ׬੒ʂ 29 ଓ͖͸σϞͰʂ

30. ࢢொଜ൪߸ ૯຿লͷσʔλ͔ΒࢢொଜίʔυͷϑΝΠϧ͕μ΢ϯϩʔυͰ͖Δ 30 https://www.soumu.go.jp/denshijiti/code.html

31. ୀӃױऀௐࠪ 31 https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html

32. ·ͣ͸ྻ໊͔Β 32 ෳ਺ྻ໊ ࡏӃ೔਺
    ͍Βͳ͍ ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    

    පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ
    Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸

33. ࡞ઓ ˔ྻ໊ͷΈΛಡΈࠐΈॎʹ͢Δ
    33

34. ࡞ઓ ˔UJEZS fi MM Ͱ/"Λ্ͷ஋ͰຒΊΔ 34

35. ࡞ઓ ˔UJEZSVOJUF Ͱෳ਺ྻΛͭʹ߹ମͤ͞Δ 35 ৽͍͠ྻ໊ ܨ͍͛ͨྻ ϕΫτϧʹม׵ QVMM Ͱ΋0, ͜͜Ͱ͸શ෦

36. ࡞ઓ ˔TUS@SFQMBSF@BMMͰ/"΍ه߸Λফ͢ 36 ޷ΈͰ͜ΕΒͷه߸΍εϖʔεΛফ͢͜ͱ΋Մೳ
    ࠓճ͸ɻͱεϖʔεΛফͨ͠

37. ؔ਺ʹ͢Δ 37 ଓ͖͸σϞͰʂ

38. දه༳Εͷ֬ೝ 38 ࡏӃ೔਺
    ͍Βͳ͍ ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ

    ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ
    Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸

39. දه༳ΕΛ୳͢ ˔֤೥ͷྻ໊Λऔಘ
    ˔TFUEJ ff Ͱยํʹ͔͠ͳ͍΋ͷΛ୳͢
    TFUEJ ff " # 


    ▶︎ "ʹ͔͠ແ͍΋ͷΛநग़
    TFUEJ ff # " 
 ▶︎ #ʹ͔͠ແ͍΋ͷΛநग़ 39

40. 40 ೥ͱ೥ɺ೥ͱ೥͸ಉ͡ ͱʹҧ͍͕͋Ε͹දه༳ΕͷՄೳੑ ΍͸දه༳ΕͰ͸ͳ͘
    ͦ΋ͦ΋ͦͷ೥ʹ͔͠ͳ͔ͬͨՄೳੑ

41. ͜ΕͰσʔλ͕ಡΈࠐΊΔʢޙͰ௚͢ʣ 41 ଓ͖͸σϞͰʂ

42. ͍Βͳ͍ྻ 42 ࡏӃ೔਺
    ͍Βͳ͍ ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ

    ʢ༌݂Ҏ֎ͷ࠶ܝʣ
    Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ

43. ࡏӃ೔਺ͱʢ࠶ܝʣͷྻ͸͍Βͳ͍ ˔TFMFDU ͱDPOUBJOT ͰߜΓࠐΊΔ 43

44. ϋΠϑϯΛফ͢ ▶︎ ਺஋σʔλʹม׵ 44 ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ

    ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ

45. SFBESQBSTF@OVNCFS ˔SFBESQBSTF@OVNCFS ͸ࢦఆͨ͠ྻΛ਺஋σʔλʹ͢Δ ˔NVUBUF BDSPTT બͼ͍ͨྻ
    ؔ਺ Ͱෳ਺ྻಉ࣌ʹॲཧ͢Δ 45

46. /"Λʹม׵͢Δ ˔SFQMBDF@OB ࢦఆͨ͠ྻ ม׵͍ͨ͠஋ 
 ˔ؔ਺ʹҾ਺͕͋Δ৔߹΍ෳ਺ͷؔ਺Λඞཁͱ͢Δ৔߹͸ 
 ɹNVUBUF BDSPTT બͼ͍ͨྻ

    
    dؔ਺ Λ࢖͏ 
 46

47. ͜͜·ͰΛؔ਺ʹ͢Δ 47 ଓ͖͸σϞͰʂ

48. ࠂࣔ൪߸͕೥౓Ͱҧ͏໰୊ 48 ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ
    

    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ

49. ࢪઃ֓ཁදͱKPJO͢ΔʂDTWϑΝΠϧʹ͢Δ 49 ଓ͖͸σϞͰʂ

50. ͜͜·ͰͰ͖Δͱ܁Γฦ͢͜ͱ͕Ͱ͖Δ 50 ԣྻɺॎߦ
    º೥ؒ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ

51. 51 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ
    ܁Γฦ͠
    QVSSS

52. ˔ϑΥϧμ಺ʹ͋ΔΤΫηϧϑΝΠϧΛ·ͱΊͯಡΈࠐΉ
    -JTU fi MFT ϑΥϧμ໊ NBQؔ਺Λ࢖ͬͯ܁Γฦ͢ 52 pattern=Ͱ৚݅ΛߜΔ ଓ͖͸σϞͰʂ

53. ྻ਺ҧ͏໰୊ 53 ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ

54. XJEFσʔλ 54 σʔλ͕ԣʹฒΜͰ͍Δ

55. MPOHσʔλͳΒؔ܎ͳ͍ʂ ˔UJEZͳΒྻ਺͕૿͑Δ͚ͩ 55

56. UJEZSQJWPU@MPOHFSͰॎ࣋ͪσʔλʹม׵ QJWPU@MPOHFS 
 ɹDPMT
    
    ·ͱΊ͍ͨྻ 
 ɹOBNFT@UP
    
    ·ͱ·ͬͨޙʢྻ໊ʣͷྻ໊ 
 ɹWBMVFT@UP
    
    ·ͱ·ͬͨޙʢ஋ʣͷྻ໊ 56

57. QJWPU@MPOHFSͷ
    OBNFT@TFQ OBNFT@TFQͰྻΛ෼ׂ͢Δ͜ͱ͕Ͱ͖Δ 57

58. 5JEZ 58 ଓ͖͸σϞͰʂ

59. දه༳ΕΛ௚͢ 59 ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ

60. දه༳ΕΛ௚͢ ˔UJEZʹͳ͔ͬͨΒNVUBUFͱJGFMTFͰ͙͢ʹ௚ͤΔ 60

61. 61 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ
    ܁Γฦ͠
    QVSSS

62. ࠷ޙʹશ෦ͷϑΝΠϧΛಡΈࠐΉ 62 ଓ͖͸σϞͰʂ

63. ͓ർΕ༷Ͱͨ͠ʂʂʂ ྻߦͷσʔλʂʂ 63

64. ՝୊ ࠓճ͸࠷৽ͷ೥౓ͷපӃͷ໊લʹ߹Θ͍ͤͯΔ 
 ɹɾ࠷৽ͷ೥౓ʹͳ͍පӃ͸ল͔Ε͍ͯΔ 
 ɹɾ߹ซͨ͠පӃ͸ରԠ͍ͯ͠ͳ͍
    ▶︎ ʢࣗ෼ͷ࢓ࣄͷൣғͩͱࠔΒͳ͍͕ʣ 
 ɹɹݚڀͰ࢖͏ͳΒ΋ͬͱݫີʹ͢Δඞཁ͕͋Δ͔΋͠Εͳ͍
    

    ▶︎ ɹ%1$Λѻ͏ํͷҙݟΛ࢕ͬͯΈ͍ͨͰ͢ɻ 64

65. લॲཧ͕Ͱ͖Ε͹࣍ʹਐΊΔ ूܭɹɹɹɹɹɹɹɹɹɹɹɹɹɹ8&#ΞϓϦʢTIJOZʣ 65

66. TIJOZͳΒʂʂʂ 66

67. ऴΘΓʹ ˔&YDFMͷख࡞ۀͰ͸Ͱ͖ͳ͍͜ͱ͕3΍QZUIPOͳΒͰ͖ͯ͠·͍·͢
    ˔ҩྍ౷ܭ͸&YDFMͷ࡞Γํ͕ྑ͚Ε͹લॲཧ͸΄΅ඞཁ͋Γ·ͤΜ
    ˔ͨͩ৭ʑͳσʔλΛ෼ੳͨ͘͠ͳΔͱલॲཧ͸ඞཁʹͳΓ·͢ 
 ɹʢ༧ࢉͷׂҎ্͸લॲཧʹ࢖͍ͬͯΔͱ͍͏ӟ΋ʜʣ
    ˔·ͩ·ͩஓ੿ͳίʔυ΋ଟ͍Ͱ͢ɻ 
 ɹͲͷఔ౓ͷ࣮ྗ͔ʢશવμϝ ࠷௿ݶ͸ΫϦΞ

    ଈઓྗʹͳΔ
    PS
    OPUʣ΍ 
 ɹΞυόΠεɾϑΟʔυόοΫ͍͚ͨͩΔͱ޾͍Ͱ͢ʂ 67