Upgrade to Pro — share decks privately, control downloads, hide ads and more …

前処理勉強会_発表資料_MITTI_20210724.pdf

17903fabbd6615c7c178c3eff89bd03e?s=47 mitti1210
July 21, 2021

 前処理勉強会_発表資料_MITTI_20210724.pdf

Rによるオープンデータ前処理勉強会(医療データ)の発表資料です。

勉強会はこちら
https://connpass.com/event/219249/

17903fabbd6615c7c178c3eff89bd03e?s=128

mitti1210

July 21, 2021
Tweet

Transcript

  1. લॲཧΛRͰ΍ͬͯΈͨʂ 
 DPCσʔλʹ௅ઓʂ 1 2021/07/24 MITTI

  2. ϑΥϧμͷ४උ .*55*ͷൃදͰ͸ҎԼͷߏ଄ͰϑΥϧμΛ࡞͍ͬͯ·͢ 3Ͱ΋Ͱ͖·͕࣌ؒ͢ͷ౎߹্ল͘ͷͰࣄલʹ࡞੒͢ΔͱਐΊ΍͍͢Ͱ͢ 2 ϓϩδΣΫτ ϑΥϧμ JOQVU TVNNBSZ .%$@@ PVUQVU

    JOQVU .%$@@
  3. μ΢ϯϩʔυ 3 ͜ͷ4೥෼ ࢪઃ֓ཁද ʢ̔ʣ࣬ױผखज़ผूܭ MDC07 ˎ2016,2017೥͸2ͭʹ෼͔Ε͍ͯΔ MDC07ɿ੔ܗ֎Պ

  4. μ΢ϯϩʔυͱอଘϑΝΠϧ໊ ͜ͷϑΥϧμ໊ͱϑΝΠϧ໊ͰਐΊ·͢ 4 ϓϩδΣΫτ ϑΥϧμ JOQVU TVNNBSZ .%$@@ PVUQVU TVNNBSZ

    .%$@@ ʢ̔ʣ࣬ױผखज़ผूܭ MDC07 ࢪઃ֓ཁද
  5. ࣄલ४උ 5 #ࠓճ͸tidyverseύοέʔδΛ࢖͍·͢ɻ #Πϯετʔϧͨ͜͠ͱͳ͍ํ͸ઌʹΠϯετʔϧ install.packages(“tidyverse") #ͲͪΒͷൃදͰ΋࢖͍·͢ #Πϯετʔϧͨ͠ύοέʔδͷݺͼग़͠ library(tidyverse) #ࠓճ͸ಛʹdplyr,tidyr,stringr,purrrΛ࢖༻ library(readxl)

    #excelͷಡΈࠐΈʹ࢖༻
  6. ୀӃױऀௐࠪ 6 https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html

  7. ख࡞ۀͰͰ͖Δʁ 7 ෳ਺ྻ໊ ࡏӃ೔਺ ͍Βͳ͍ ϋΠϑϯ ͍Βͳ͍ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ

    පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸
  8. ͜ΕͳΒ෼ੳʹ͔͚ͨΓάϥϑ͕࡞ΕΔ 8 ೥౓ͰมΘΔ൪߸Λ ἧ͑ͨ ࢢொଜ໊෇͚ͨ ෳ਺೥Λͭͳ͛ͨ ප໊Ͱ΋ݕࡧͰ͖Δ ਓ਺͚ͩʹͨ͠

  9. ࠓճͷલॲཧ ˔UJEZʢ੔વσʔλʣʹ͢Δ ˔จࣈྻॲཧ ˔܁Γฦ͠ॲཧʹରԠ͢Δ ˔ؔ਺Ͱ·ͱΊΔ 9

  10. UJEZʢ੔વσʔλʣͱ͸ʁ 8JLJQFEJB༷ΑΓ IUUQTKBXJLJQFEJBPSHXJLJ5JEZ@EBUB 10

  11. σʔλͷ੔ܗɿUJEZS 11 ࡶવσʔλ %>% pivot_longer ( col = c("6࣌", "12࣌",

    “18࣌”) , names_to = “࣌ࠁ” , values_to = “ఱؾ”)
  12. UJEZʹ͢ΔͨΊͷઓ͍ 12 5JEZ /PU5JEZ

  13. ࠓճͷલॲཧ ˔UJEZʢ੔વσʔλʣʹ͢ΔɿUJEZS ˔จࣈྻॲཧɿTUSJOHS ˔܁Γฦ͠ॲཧʹରԠ͢ΔɿQVSSS ˔ؔ਺Ͱ·ͱΊΔɿGVODUJPO ˔͚ͬͭ͘ΔɿKPJO 13

  14. จࣈྻॲཧɿTUSJOHS 14 TUSJOHS ୅දతͳؔ਺ આ໌ ݕࡧ TUS@EFUFDU ͋Δจࣈྻؚ͕·Ε͍ͯͨΒ536& நग़ TUS@FYUSBDU

    TUS@FYUSBDU@BMM TUS@TVC ͋ΔύλʔϯʹҰக͢ΔจࣈྻΛநग़ ࠷ॳʢ࠷ޙʣ˓จࣈΛநग़ ஔ͖׵͑ TUS@SFQMBDF TUS@SFQMBDF@BMM ύλʔϯʹϚονͨ͠ՕॴΛஔ׵ Ճ޻ TUS@D จࣈྻΛ͚ͬͭ͘Δ https://kazutan.github.io/kazutanR/stringr-intro.html ͕ৄ͍͠Ͱ͢ʂ
  15. TUSJOHSͱਖ਼نදݱ 15 ྫʣ“MDC_02_8_07_2019.xlsx"ͱ͍͏ϑΝΠϧ໊͔Β৭ʑऔΓग़͍ͨ͠ str_extract(“จࣈྻ”, “৚݅” ) ৚݅ʹ͸৭ʑͳࢦఆ͕Ͱ͖Δ [ ] ͜ͷதʹ͋Δ਺஋ɾจࣈɾه߸

    \\d ਺஋ \\D จࣈ . ͳΜͰ΋O K * 0ճҎ্ͷ܁Γฦ͠ { } ׅހ಺ͷ਺͚ͩ܁Γฦ͠ ^ จࣈྻͷઌ಄ $ จࣈྻͷ࠷ޙ fi MFl.%$@@@@YMTY TUS@FYUSBDU fi MF z<aaE>\^z  TUS@FYUSBDU fi MF z.%$ <aaE>\^z  TUS@FYUSBDU fi MF l<>Y z  ਺஋4ܻ MDCɹ೚ҙͷ܁Γฦ͠ɹ਺஋4ܻ .(ه߸ͷυοτ)ɹ xɹɹɹ೚ҙͷ܁Γฦ͠
  16. ˔UJEZʢ੔વσʔλʣʹ͢Δ ˔จࣈྻॲཧ ˔܁Γฦ͠ॲཧʹରԠ͢Δ ˔ؔ਺Ͱ·ͱΊΔ 16

  17. 17 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ ܁Γฦ͠QVSSS

  18. ͚ͬͭ͘ΔɿEQMZSKPJO 18 https://github.com/rstudio/cheatsheets/raw/master/data-transformation.pdf

  19. ˔UJEZʢ੔વσʔλʣʹ͢Δ ˔܁Γฦ͠ॲཧʹରԠ͢Δ ˔จࣈྻॲཧ ˔ؔ਺Ͱ·ͱΊΔ 19

  20. ؔ਺Ͱ·ͱΊΔϝϦοτͱϙΠϯτ ˔ෆཁͳม਺͕ݮΔ ˔ଞͷϑΝΠϧͰ΋ར༻Ͱ͖ΔɻNBQ͕࢖͍΍͘͢ͳΔɻ 20 ؔ਺಺Ͱ࢖ΘΕΔม਺͸ ࢒Βͳ͍ ϑΥϧμ಺ʹ͋ΔϑΝΠϧΛ ·ͱΊͯಡΈࠐΊΔ

  21. ؔ਺Ͱ·ͱΊΔϝϦοτͱϙΠϯτ ˔͋Δ೥্͕ख͍͔ͬͨ͘Βͱ͍ͬͯҧ͏೥Ͱ΋্ख͘ߦ͔͘͸֬ೝඞཁ ɹɾYMT͕YMTYʹมΘͬͯ΋ରԠͰ͖Δίʔυ 
 ɹɾΤϥʔ͕ग़ͨΒͦͷ౎౓௚ؔ͠਺ʹܧ͗଍͍ͯ͘͠ 21

  22. ۩ମྫ 22

  23. ࠂࣔ൪߸Λଗ͑ΔͨΊͷલॲཧ 23

  24. σʔλΛ֬ೝ ɾཉ͍͠σʔλ͸͚ͩ͜͜ 
 ɾ˞ͷϚʔΫ͍Βͳ͍ 
 ɾ೥౓ͷྻΛ଍͍ͨ͠ 
 ɾվߦ͍Βͳ͍ 24 ▶︎

    ͜Ε͚ͩͳΒ௚઀ίʔυ͔͚ͦ͏
  25. ೥౓Ͱྻ໊͕มΘ͍ͬͯͳ͍͔νΣοΫ 25 1ʙ3ྻ໨ͱ”ࢪઃ໊”ͷྻ͚ͩཉ͍͠ʂ select(1:3, “ࢪઃ໊”)

  26. SFBE@FYDFMͰಡΈࠐΉ 26 read_excel ( path=ϑΝΠϧͷύε , sheet=γʔτͷ໊લ͔˓൪໨ͷγʔτ, #ࢦఆ͠ͳ͚Ε͹1ຕ໨ͷγʔτ skip=ઌ಄ʹ͍Βͳ͍ߦ͕͋Ε͹ࢦఆ ,

    col_names=ྻ໊Λࢦఆ͍ͨ͠৔߹ʢFALSEʹ͢Δͱྻ໊ΛಡΈࠐ·ͳ͍ʣ , n_max=Կߦ໨·ͰಡΈࠐΉ͔ʁ ) ଓ͖͸σϞͰʂ
  27. ࡞ͬͨ΋ͷΛؔ਺ʹ͢Δ 27 ଓ͖͸σϞͰʂ

  28. ࠂࣔ൪߸ͱ௨൪ͷؔ܎ 28 ৽͍͠೥౓ͷ௨൪ͱݹ͍೥౓ͷࠂࣔ൪߸ͷ਺ࣈ͕߹͏Α͏ʹjoin͢Δ ৽͍͠೥౓ %>% left_join(ݹ͍೥౓, by = c(“௨൪” =

    “ࠂࣔ൪߸”)
  29. ׬੒ʂ 29 ଓ͖͸σϞͰʂ

  30. ࢢொଜ൪߸ ૯຿লͷσʔλ͔ΒࢢொଜίʔυͷϑΝΠϧ͕μ΢ϯϩʔυͰ͖Δ 30 https://www.soumu.go.jp/denshijiti/code.html

  31. ୀӃױऀௐࠪ 31 https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html

  32. ·ͣ͸ྻ໊͔Β 32 ෳ਺ྻ໊ ࡏӃ೔਺ ͍Βͳ͍ ϋΠϑϯ ͍Βͳ͍ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ

    පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸
  33. ࡞ઓ ˔ྻ໊ͷΈΛಡΈࠐΈॎʹ͢Δ 33

  34. ࡞ઓ ˔UJEZS fi MM Ͱ/"Λ্ͷ஋ͰຒΊΔ 34

  35. ࡞ઓ ˔UJEZSVOJUF Ͱෳ਺ྻΛͭʹ߹ମͤ͞Δ 35 ৽͍͠ྻ໊ ܨ͍͛ͨྻ ϕΫτϧʹม׵ QVMM Ͱ΋0, ͜͜Ͱ͸શ෦

  36. ࡞ઓ ˔TUS@SFQMBSF@BMMͰ/"΍ه߸Λফ͢ 36 ޷ΈͰ͜ΕΒͷه߸΍εϖʔεΛফ͢͜ͱ΋Մೳ ࠓճ͸ɻͱεϖʔεΛফͨ͠

  37. ؔ਺ʹ͢Δ 37 ଓ͖͸σϞͰʂ

  38. දه༳Εͷ֬ೝ 38 ࡏӃ೔਺ ͍Βͳ͍ ϋΠϑϯ ͍Βͳ͍ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ පӃ໊͕มΘΔ͜ͱ͕͋Δ

    ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸
  39. දه༳ΕΛ୳͢ ˔֤೥ͷྻ໊Λऔಘ ˔TFUEJ ff Ͱยํʹ͔͠ͳ͍΋ͷΛ୳͢ TFUEJ ff " # 


    ▶︎ "ʹ͔͠ແ͍΋ͷΛநग़ TFUEJ ff # " 
 ▶︎ #ʹ͔͠ແ͍΋ͷΛநग़ 39
  40. 40 ೥ͱ೥ɺ೥ͱ೥͸ಉ͡ ͱʹҧ͍͕͋Ε͹දه༳ΕͷՄೳੑ ΍͸දه༳ΕͰ͸ͳ͘ ͦ΋ͦ΋ͦͷ೥ʹ͔͠ͳ͔ͬͨՄೳੑ

  41. ͜ΕͰσʔλ͕ಡΈࠐΊΔʢޙͰ௚͢ʣ 41 ଓ͖͸σϞͰʂ

  42. ͍Βͳ͍ྻ 42 ࡏӃ೔਺ ͍Βͳ͍ ϋΠϑϯ ͍Βͳ͍ ೥౓͕มΘΔͱ පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ

    ʢ༌݂Ҏ֎ͷ࠶ܝʣ Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ
  43. ࡏӃ೔਺ͱʢ࠶ܝʣͷྻ͸͍Βͳ͍ ˔TFMFDU ͱDPOUBJOT ͰߜΓࠐΊΔ 43

  44. ϋΠϑϯΛফ͢ ▶︎ ਺஋σʔλʹม׵ 44 ϋΠϑϯ ͍Βͳ͍ ೥౓͕มΘΔͱ පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ

    ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ
  45. SFBESQBSTF@OVNCFS ˔SFBESQBSTF@OVNCFS ͸ࢦఆͨ͠ྻΛ਺஋σʔλʹ͢Δ ˔NVUBUF BDSPTT બͼ͍ͨྻ ؔ਺ Ͱෳ਺ྻಉ࣌ʹॲཧ͢Δ 45

  46. /"Λʹม׵͢Δ ˔SFQMBDF@OB ࢦఆͨ͠ྻ ม׵͍ͨ͠஋ 
 ˔ؔ਺ʹҾ਺͕͋Δ৔߹΍ෳ਺ͷؔ਺Λඞཁͱ͢Δ৔߹͸ 
 ɹNVUBUF BDSPTT બͼ͍ͨྻ

    dؔ਺ Λ࢖͏ 
 46
  47. ͜͜·ͰΛؔ਺ʹ͢Δ 47 ଓ͖͸σϞͰʂ

  48. ࠂࣔ൪߸͕೥౓Ͱҧ͏໰୊ 48 ೥౓͕มΘΔͱ පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ

    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ
  49. ࢪઃ֓ཁදͱKPJO͢ΔʂDTWϑΝΠϧʹ͢Δ 49 ଓ͖͸σϞͰʂ

  50. ͜͜·ͰͰ͖Δͱ܁Γฦ͢͜ͱ͕Ͱ͖Δ 50 ԣྻɺॎߦ º೥ؒ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ

  51. 51 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ ܁Γฦ͠QVSSS

  52. ˔ϑΥϧμ಺ʹ͋ΔΤΫηϧϑΝΠϧΛ·ͱΊͯಡΈࠐΉ -JTU fi MFT ϑΥϧμ໊ NBQؔ਺Λ࢖ͬͯ܁Γฦ͢ 52 pattern=Ͱ৚݅ΛߜΔ ଓ͖͸σϞͰʂ

  53. ྻ਺ҧ͏໰୊ 53 ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ

  54. XJEFσʔλ 54 σʔλ͕ԣʹฒΜͰ͍Δ

  55. MPOHσʔλͳΒؔ܎ͳ͍ʂ ˔UJEZͳΒྻ਺͕૿͑Δ͚ͩ 55

  56. UJEZSQJWPU@MPOHFSͰॎ࣋ͪσʔλʹม׵ QJWPU@MPOHFS 
 ɹDPMT·ͱΊ͍ͨྻ 
 ɹOBNFT@UP·ͱ·ͬͨޙʢྻ໊ʣͷྻ໊ 
 ɹWBMVFT@UP·ͱ·ͬͨޙʢ஋ʣͷྻ໊ 56

  57. QJWPU@MPOHFSͷOBNFT@TFQ OBNFT@TFQͰྻΛ෼ׂ͢Δ͜ͱ͕Ͱ͖Δ 57

  58. 5JEZ 58 ଓ͖͸σϞͰʂ

  59. දه༳ΕΛ௚͢ 59 ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ

  60. දه༳ΕΛ௚͢ ˔UJEZʹͳ͔ͬͨΒNVUBUFͱJGFMTFͰ͙͢ʹ௚ͤΔ 60

  61. 61 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ ܁Γฦ͠QVSSS

  62. ࠷ޙʹશ෦ͷϑΝΠϧΛಡΈࠐΉ 62 ଓ͖͸σϞͰʂ

  63. ͓ർΕ༷Ͱͨ͠ʂʂʂ ྻߦͷσʔλʂʂ 63

  64. ՝୊ ࠓճ͸࠷৽ͷ೥౓ͷපӃͷ໊લʹ߹Θ͍ͤͯΔ 
 ɹɾ࠷৽ͷ೥౓ʹͳ͍පӃ͸ল͔Ε͍ͯΔ 
 ɹɾ߹ซͨ͠පӃ͸ରԠ͍ͯ͠ͳ͍ ▶︎ ʢࣗ෼ͷ࢓ࣄͷൣғͩͱࠔΒͳ͍͕ʣ 
 ɹɹݚڀͰ࢖͏ͳΒ΋ͬͱݫີʹ͢Δඞཁ͕͋Δ͔΋͠Εͳ͍

    ▶︎ ɹ%1$Λѻ͏ํͷҙݟΛ࢕ͬͯΈ͍ͨͰ͢ɻ 64
  65. લॲཧ͕Ͱ͖Ε͹࣍ʹਐΊΔ ूܭɹɹɹɹɹɹɹɹɹɹɹɹɹɹ8&#ΞϓϦʢTIJOZʣ 65

  66. TIJOZͳΒʂʂʂ 66

  67. ऴΘΓʹ ˔&YDFMͷख࡞ۀͰ͸Ͱ͖ͳ͍͜ͱ͕3΍QZUIPOͳΒͰ͖ͯ͠·͍·͢ ˔ҩྍ౷ܭ͸&YDFMͷ࡞Γํ͕ྑ͚Ε͹લॲཧ͸΄΅ඞཁ͋Γ·ͤΜ ˔ͨͩ৭ʑͳσʔλΛ෼ੳͨ͘͠ͳΔͱલॲཧ͸ඞཁʹͳΓ·͢ 
 ɹʢ༧ࢉͷׂҎ্͸લॲཧʹ࢖͍ͬͯΔͱ͍͏ӟ΋ʜʣ ˔·ͩ·ͩஓ੿ͳίʔυ΋ଟ͍Ͱ͢ɻ 
 ɹͲͷఔ౓ͷ࣮ྗ͔ʢશવμϝ ࠷௿ݶ͸ΫϦΞ

    ଈઓྗʹͳΔPSOPUʣ΍ 
 ɹΞυόΠεɾϑΟʔυόοΫ͍͚ͨͩΔͱ޾͍Ͱ͢ʂ 67