前処理勉強会_発表資料_MITTI_20210724.pdf

Transcript

1. લॲཧΛRͰ΍ͬͯΈͨʂ 
 DPCσʔλʹ௅ઓʂ 1 2021/07/24 MITTI

2. ϑΥϧμͷ४උ .*55*ͷൃදͰ͸ҎԼͷߏ଄ͰϑΥϧμΛ࡞͍ͬͯ·͢
   3Ͱ΋Ͱ͖·͕࣌ؒ͢ͷ౎߹্ল͘ͷͰࣄલʹ࡞੒͢ΔͱਐΊ΍͍͢Ͱ͢ 2 ϓϩδΣΫτ
   ϑΥϧμ JOQVU TVNNBSZ .%$@@ PVUQVU

   JOQVU .%$@@

3. μ΢ϯϩʔυ 3 ͜ͷ4೥෼ ࢪઃ֓ཁද ʢ̔ʣ࣬ױผखज़ผूܭ MDC07 ˎ2016,2017೥͸2ͭʹ෼͔Ε͍ͯΔ MDC07ɿ੔ܗ֎Պ

4. μ΢ϯϩʔυͱอଘϑΝΠϧ໊ ͜ͷϑΥϧμ໊ͱϑΝΠϧ໊ͰਐΊ·͢ 4 ϓϩδΣΫτ
   ϑΥϧμ JOQVU TVNNBSZ .%$@@ PVUQVU JOQVU

   .%$@@ ʢ̔ʣ࣬ױผखज़ผूܭ MDC07 ࢪઃ֓ཁද

5. ࣄલ४උ 5 #ࠓճ͸tidyverseύοέʔδΛ࢖͍·͢ɻ #Πϯετʔϧͨ͜͠ͱͳ͍ํ͸ઌʹΠϯετʔϧ install.packages(“tidyverse") #ͲͪΒͷൃදͰ΋࢖͍·͢ #Πϯετʔϧͨ͠ύοέʔδͷݺͼग़͠ library(tidyverse) #ࠓճ͸ಛʹdplyr,tidyr,stringr,purrrΛ࢖༻ library(readxl)

   #excelͷಡΈࠐΈʹ࢖༻

6. ୀӃױऀௐࠪ 6 https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html

7. ख࡞ۀͰͰ͖Δʁ 7 ෳ਺ྻ໊ ࡏӃ೔਺
   ͍Βͳ͍ ϋΠϑϯ
   ͍Βͳ͍ ೥౓͕มΘΔͱ
   ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
   

   පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ
   ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
   º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ
   Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
   ൪߸ҧ͏͜ͱ͕͋Δ
   ௨൪ʹલͷ೥ͷࠂࣔ൪߸

8. ͜ΕͳΒ෼ੳʹ͔͚ͨΓάϥϑ͕࡞ΕΔ 8 ೥౓ͰมΘΔ൪߸Λ
   ἧ͑ͨ ࢢொଜ໊෇͚ͨ ෳ਺೥Λͭͳ͛ͨ ප໊Ͱ΋ݕࡧͰ͖Δ ਓ਺͚ͩʹͨ͠

9. ษڧ͢Δʹ͸Կ͔Β࢝ΊͨΒʁ ͜Ε͔͠উͨΜ 9 Ӊ஦ຊ

10. ࠓճͷલॲཧ ˔UJEZʢ੔વσʔλʣʹ͢Δ
    ˔จࣈྻॲཧ
    ˔܁Γฦ͠ॲཧʹରԠ͢Δ
    ˔ؔ਺Ͱ·ͱΊΔ 10

11. 3ͱ1ZUIPO 4"4ͷେ͖ͳҧ͍ 11 3
    UJEZWFSTF ྻ໊͸ͭ
    UJEZʢ੔વσʔλʣʹ͢Ε͹উͪ 1ZUIPO
    4"4 ෳ਺ྻ໊ʹରԠ

12. UJEZʢ੔વσʔλʣͱ͸ʁ
    8JLJQFEJB༷ΑΓ
    IUUQTKBXJLJQFEJBPSHXJLJ5JEZ@EBUB 12

13. UJEZʹ͢ΔͨΊͷઓ͍ 13 /PU
    5JEZ 5JEZ

14. ࠓճͷલॲཧ ˔UJEZʢ੔વσʔλʣʹ͢ΔɿUJEZS
    ˔จࣈྻॲཧɿTUSJOHS
    ˔܁Γฦ͠ॲཧʹରԠ͢ΔɿQVSSS
    ˔ؔ਺Ͱ·ͱΊΔɿGVODUJPO
    ˔͚ͬͭ͘ΔɿKPJO 14

15. จࣈྻॲཧɿTUSJOHS 15 TUSJOHS ୅දతͳؔ਺ આ໌ ݕࡧ TUS@EFUFDU ͋Δจࣈྻؚ͕·Ε͍ͯͨΒ536& நग़ TUS@FYUSBDU

    
    TUS@FYUSBDU@BMM
    TUS@TVC ͋ΔύλʔϯʹҰக͢ΔจࣈྻΛநग़
    ࠷ॳʢ࠷ޙʣ˓จࣈΛநग़ ஔ͖׵͑ TUS@SFQMBDF
    TUS@SFQMBDF@BMM ύλʔϯʹϚονͨ͠ՕॴΛஔ׵ Ճ޻ TUS@D จࣈྻΛ͚ͬͭ͘Δ https://kazutan.github.io/kazutanR/stringr-intro.html ͕ৄ͍͠Ͱ͢ʂ

16. ਖ਼نදݱ ྫʣz fi MFYMTYzͱ͍͏ϑΝΠϧ໊͔Β৭ʑऔΓग़͍ͨ͠
    16

17. ਖ਼نදݱ 17 TUS@FYUSBDU  fi MFYMTY <>
    lz TUS@FYUSBDU@BMM

     fi MFYMTY <>
    lz
    lz
    lz
    lz TUS@FYUSBDU@BMM  fi MFYMTY <>\^
    lz TUS@FYUSBDU@BMM  fi MFYMTY <aaE>\^
    lz TUS@FYUSBDU  fi MFYMTY ?<B[";>
    lGz TUS@FYUSBDU  fi MFYMTY ?<B[";> 
    l fi MFz TUS@FYUSBDU  fi MFYMT <aa%>
    lTz TUS@FYUSBDU l fi MFYMTY <aa%> 
    lYMTYz TUS@FYUSBDU l fi MFYMTYz z<> z lYMTYz l fi MFYMTYͷͲ͜Λ੾Γग़͔͢ʁ

18. ˔UJEZʢ੔વσʔλʣʹ͢Δ
    ˔จࣈྻॲཧ
    ˔܁Γฦ͠ॲཧʹରԠ͢Δ
    ˔ؔ਺Ͱ·ͱΊΔ 18

19. 19 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ
    ܁Γฦ͠
    QVSSS

20. ͚ͬͭ͘ΔɿEQMZSKPJO 20

21. ˔UJEZʢ੔વσʔλʣʹ͢Δ
    ˔܁Γฦ͠ॲཧʹରԠ͢Δ
    ˔จࣈྻॲཧ
    ˔ؔ਺Ͱ·ͱΊΔ 21

22. ؔ਺Ͱ·ͱΊΔϝϦοτͱϙΠϯτ ˔ෆཁͳม਺͕ݮΔ
    ˔ଞͷϑΝΠϧͰ΋ར༻Ͱ͖ΔɻNBQ͕࢖͍΍͘͢ͳΔɻ 22 ؔ਺಺Ͱ࢖ΘΕΔม਺͸ ࢒Βͳ͍ ϑΥϧμ಺ʹ͋ΔϑΝΠϧΛ ·ͱΊͯಡΈࠐΊΔ

23. ؔ਺Ͱ·ͱΊΔϝϦοτͱϙΠϯτ ˔͋Δ೥্͕ख͍͔ͬͨ͘Βͱ͍ͬͯҧ͏೥Ͱ΋্ख͘ߦ͔͘͸֬ೝඞཁ
    ɹɾYMT͕YMTYʹมΘͬͯ΋ରԠͰ͖Δίʔυ 
 ɹɾΤϥʔ͕ग़ͨΒͦͷ౎౓௚ؔ͠਺ʹܧ͗଍͍ͯ͘͠ 23

24. ۩ମྫ 24

25. ࠂࣔ൪߸Λଗ͑ΔͨΊͷલॲཧ 25

26. σʔλΛ֬ೝ ɾཉ͍͠σʔλ͸͚ͩ͜͜ 
 ɾ˞ͷϚʔΫ͍Βͳ͍ 
 ɾ೥౓ͷྻΛ଍͍ͨ͠ 
 ɾվߦ͍Βͳ͍ 26 ▶︎

    ͜Ε͚ͩͳΒ௚઀ίʔυ͔͚ͦ͏

27. ೥౓Ͱྻ໊͕มΘ͍ͬͯͳ͍͔νΣοΫ 27 1ʙ3ྻ໨ͱ”ࢪઃ໊”ͷྻ͚ͩཉ͍͠ʂ select(1:3, “ࢪઃ໊”)

28. SFBE@FYDFMͰಡΈࠐΉ 28 read_excel ( path=ϑΝΠϧͷύε , sheet=γʔτͷ໊લ͔˓൪໨ͷγʔτ, #ࢦఆ͠ͳ͚Ε͹1ຕ໨ͷγʔτ skip=ઌ಄ʹ͍Βͳ͍ߦ͕͋Ε͹ࢦఆ ,

    col_names=ྻ໊Λࢦఆ͍ͨ͠৔߹ʢFALSEʹ͢Δͱྻ໊ΛಡΈࠐ·ͳ͍ʣ , n_max=Կߦ໨·ͰಡΈࠐΉ͔ʁ ) ଓ͖͸σϞͰʂ

29. ࡞ͬͨ΋ͷΛؔ਺ʹ͢Δ 29 ଓ͖͸σϞͰʂ

30. ࠂࣔ൪߸ͱ௨൪ͷؔ܎ 30 ৽͍͠೥౓ͷ௨൪ͱݹ͍೥౓ͷࠂࣔ൪߸ͷ਺ࣈ͕߹͏Α͏ʹjoin͢Δ ৽͍͠೥౓ %>% left_join(ݹ͍೥౓, by = c(“௨൪” =

    “ࠂࣔ൪߸”)

31. ׬੒ʂ 31 ଓ͖͸σϞͰʂ

32. ࢢொଜ൪߸ ૯຿লͷσʔλ͔ΒࢢொଜίʔυͷϑΝΠϧ͕μ΢ϯϩʔυͰ͖Δ 32 https://www.soumu.go.jp/denshijiti/code.html

33. ୀӃױऀௐࠪ 33 https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html

34. ·ͣ͸ྻ໊͔Β 34 ෳ਺ྻ໊ ࡏӃ೔਺
    ͍Βͳ͍ ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    

    පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ
    Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸

35. ࡞ઓ ˔ྻ໊ͷΈΛಡΈࠐΈॎʹ͢Δ
    35

36. ࡞ઓ ˔UJEZS fi MM Ͱ/"Λ্ͷ஋ͰຒΊΔ 36

37. ࡞ઓ ˔UJEZSVOJUF Ͱෳ਺ྻΛͭʹ߹ମͤ͞Δ 37 ৽͍͠ྻ໊ ܨ͍͛ͨྻ ϕΫτϧʹม׵ QVMM Ͱ΋0, ͜͜Ͱ͸શ෦

38. ࡞ઓ ˔TUS@SFQMBSF@BMMͰ/"΍ه߸Λফ͢ 38 ޷ΈͰ͜ΕΒͷه߸΍εϖʔεΛফ͢͜ͱ΋Մೳ
    ࠓճ͸ɻͱεϖʔεΛফͨ͠

39. ؔ਺ʹ͢Δ 39 ଓ͖͸σϞͰʂ

40. දه༳Εͷ֬ೝ 40 ࡏӃ೔਺
    ͍Βͳ͍ ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ

    ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ
    Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸

41. දه༳ΕΛ୳͢ ˔֤೥ͷྻ໊Λऔಘ
    ˔TFUEJ ff Ͱยํʹ͔͠ͳ͍΋ͷΛ୳͢
    TFUEJ ff " # 


    ▶︎ "ʹ͔͠ແ͍΋ͷΛநग़
    TFUEJ ff # " 
 ▶︎ #ʹ͔͠ແ͍΋ͷΛநग़ 41

42. 42 ೥ͱ೥ɺ೥ͱ೥͸ಉ͡ ͱʹҧ͍͕͋Ε͹දه༳ΕͷՄೳੑ ΍͸දه༳ΕͰ͸ͳ͘
    ͦ΋ͦ΋ͦͷ೥ʹ͔͠ͳ͔ͬͨՄೳੑ

43. ͜ΕͰσʔλ͕ಡΈࠐΊΔʢޙͰ௚͢ʣ 43 ଓ͖͸σϞͰʂ

44. ͍Βͳ͍ྻ 44 ࡏӃ೔਺
    ͍Βͳ͍ ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ

    ʢ༌݂Ҏ֎ͷ࠶ܝʣ
    Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ

45. ࡏӃ೔਺ͱʢ࠶ܝʣͷྻ͸͍Βͳ͍ ˔TFMFDU ͱDPOUBJOT ͰߜΓࠐΊΔ 45

46. ϋΠϑϯΛফ͢ ▶︎ ਺஋σʔλʹม׵ 46 ϋΠϑϯ
    ͍Βͳ͍ ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ

    ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ

47. SFBESQBSTF@OVNCFS ˔NVUBUF BDSPTT બͼ͍ͨྻ
    ؔ਺ Λ࢖͏ 
 ˔SFBESQBSTF@OVNCFS ͸ࢦఆͨ͠ྻΛ਺஋σʔλʹ͢Δ 47

48. /"Λʹม׵͢Δ ˔ؔ਺ʹҾ਺͕͋Δ৔߹΍ෳ਺ͷؔ਺Λඞཁͱ͢Δ৔߹ 
 ɹNVUBUF BDSPTT બͼ͍ͨྻ
    dؔ਺ Λ࢖͏ 
 ˔SFQMBDF@OB

    ࢦఆͨ͠ྻ ม׵͍ͨ͠஋ 48

49. ͜͜·ͰΛؔ਺ʹ͢Δ 49 ଓ͖͸σϞͰʂ

50. ࠂࣔ൪߸͕೥౓Ͱҧ͏໰୊ 50 ೥౓͕มΘΔͱ
    පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ
    º೥ؒ ೥౓͕มΘΔͱ
    ൪߸ҧ͏͜ͱ͕͋Δ
    ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ
    

    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ

51. ࢪઃ֓ཁදͱKPJO͢ΔʂDTWϑΝΠϧʹ͢Δ 51 ଓ͖͸σϞͰʂ

52. ͜͜·ͰͰ͖Δͱ܁Γฦ͢͜ͱ͕Ͱ͖Δ 52 ԣྻɺॎߦ
    º೥ؒ ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ

53. 53 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ
    ܁Γฦ͠
    QVSSS

54. ˔ϑΥϧμ಺ʹ͋ΔΤΫηϧϑΝΠϧΛ·ͱΊͯಡΈࠐΉ
    -JTU fi MFT ϑΥϧμ໊ NBQؔ਺Λ࢖ͬͯ܁Γฦ͢ 54 pattern=Ͱ৚݅ΛߜΔ ଓ͖͸σϞͰʂ

55. ྻ਺ҧ͏໰୊ 55 ೥౓͕มΘΔͱ
    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ

56. XJEFσʔλ 56 σʔλ͕ԣʹฒΜͰ͍Δ

57. MPOHσʔλͳΒؔ܎ͳ͍ʂ ˔UJEZͳΒྻ਺͕૿͑Δ͚ͩ 57

58. UJEZSQJWPU@MPOHFSͰॎ࣋ͪσʔλʹม׵ QJWPU@MPOHFS 
 ɹDPMT
    
    ·ͱΊ͍ͨྻ 
 ɹOBNFT@UP
    
    ·ͱ·ͬͨޙʢྻ໊ʣͷྻ໊ 
 ɹWBMVFT@UP
    
    ·ͱ·ͬͨޙʢ஋ʣͷྻ໊ 58

59. QJWPU@MPOHFSͷ
    OBNFT@TFQ OBNFT@TFQͰྻΛ෼ׂ͢Δ͜ͱ͕Ͱ͖Δ 59

60. 5JEZ 60 ଓ͖͸σϞͰʂ

61. දه༳ΕΛ௚͢ 61 ೥౓͕มΘΔͱ
    ප໊มΘΔ͜ͱ͕͋Δ

62. දه༳ΕΛ௚͢ ˔UJEZʹͳ͔ͬͨΒNVUBUFͱJGFMTFͰ͙͢ʹ௚ͤΔ 62

63. 63 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ
    ܁Γฦ͠
    QVSSS

64. ࠷ޙʹશ෦ͷϑΝΠϧΛಡΈࠐΉ 64 ଓ͖͸σϞͰʂ

65. ͓ർΕ༷Ͱͨ͠ʂʂʂ ྻߦͷσʔλʂʂ 65

66. લॲཧ͕Ͱ͖Ε͹࣍ʹਐΊΔ ूܭɹɹɹɹɹɹɹɹɹɹɹɹɹɹ8&#ΞϓϦʢTIJOZʣ 66

67. TIJOZͳΒʂʂʂ 67

68. ՝୊ ࠓճ͸࠷৽ͷ೥౓ͷපӃͷ໊લʹ߹Θ͍ͤͯΔ 
 ɹɾ࠷৽ͷ೥౓ʹͳ͍පӃ͸ল͔Ε͍ͯΔ 
 ɹɾ߹ซͨ͠පӃ͸ରԠ͍ͯ͠ͳ͍
    ▶︎ ʢࣗ෼ͷ࢓ࣄͷൣғͩͱࠔΒͳ͍͕ʣ 
 ɹɹݚڀͰ࢖͏ͳΒ΋ͬͱݫີʹ͢Δඞཁ͕͋Δ͔΋͠Εͳ͍
    

    ▶︎ ɹ%1$Λѻ͏ํͷҙݟΛ࢕ͬͯΈ͍ͨͰ͢ɻ 68

69. ऴΘΓʹ ˔&YDFMͷख࡞ۀͰ͸Ͱ͖ͳ͍͜ͱ͕3΍QZUIPOͳΒͰ͖ͯ͠·͍·͢
    ˔ҩྍ౷ܭ͸&YDFMͷ࡞Γํ͕ྑ͚Ε͹લॲཧ͸΄΅ඞཁ͋Γ·ͤΜ
    ˔ͨͩ৭ʑͳσʔλΛ෼ੳͨ͘͠ͳΔͱલॲཧ͸ඞཁʹͳΓ·͢ 
 ɹʢ༧ࢉͷׂҎ্͸લॲཧʹ࢖͍ͬͯΔͱ͍͏ӟ΋ʜʣ
    ˔ਓͰಠֶ͍ͯ͠·͢ɻݱ࣌఺Ͱ͸͜ͷఔ౓Ͱ͢ɻ 
 ɹ·ͩ·ͩஓ੿ͳίʔυ΋ଟ͍ͷͰΞυόΠε͍͖͍ͨͩͨͰ͢͠ɺ 


    ɹͲͷఔ౓ͷ࣮ྗ͔ʢશવμϝ ࠷௿ݶ͸ΫϦΞ ଈઓྗʹͳΔ
    PS
    OPUʣ΋ 
 ɹϑΟʔυόοΫ͍͚ͨͩΔͱ޾͍Ͱ͢ʂ 69