Upgrade to Pro — share decks privately, control downloads, hide ads and more …

前処理勉強会_発表資料_MITTI_20210724.pdf

 前処理勉強会_発表資料_MITTI_20210724.pdf

Rによるオープンデータ前処理勉強会(医療データ)の発表資料です。

勉強会はこちら
https://connpass.com/event/219249/

17903fabbd6615c7c178c3eff89bd03e?s=128

mitti1210

July 21, 2021
Tweet

Transcript

  1. લॲཧΛRͰ΍ͬͯΈͨʂ 
 DPCσʔλʹ௅ઓʂ 1 2021/07/24 MITTI

  2. ϑΥϧμͷ४උ .*55*ͷൃදͰ͸ҎԼͷߏ଄ͰϑΥϧμΛ࡞͍ͬͯ·͢ 3Ͱ΋Ͱ͖·͕࣌ؒ͢ͷ౎߹্ল͘ͷͰࣄલʹ࡞੒͢ΔͱਐΊ΍͍͢Ͱ͢ 2 ϓϩδΣΫτ ϑΥϧμ JOQVU TVNNBSZ .%$@@ PVUQVU

    JOQVU .%$@@
  3. μ΢ϯϩʔυ 3 ͜ͷ4೥෼ ࢪઃ֓ཁද ʢ̔ʣ࣬ױผखज़ผूܭ MDC07 ˎ2016,2017೥͸2ͭʹ෼͔Ε͍ͯΔ MDC07ɿ੔ܗ֎Պ

  4. μ΢ϯϩʔυͱอଘϑΝΠϧ໊ ͜ͷϑΥϧμ໊ͱϑΝΠϧ໊ͰਐΊ·͢ 4 ϓϩδΣΫτ ϑΥϧμ JOQVU TVNNBSZ .%$@@ PVUQVU JOQVU

    .%$@@ ʢ̔ʣ࣬ױผखज़ผूܭ MDC07 ࢪઃ֓ཁද
  5. ࣄલ४උ 5 #ࠓճ͸tidyverseύοέʔδΛ࢖͍·͢ɻ #Πϯετʔϧͨ͜͠ͱͳ͍ํ͸ઌʹΠϯετʔϧ install.packages(“tidyverse") #ͲͪΒͷൃදͰ΋࢖͍·͢ #Πϯετʔϧͨ͠ύοέʔδͷݺͼग़͠ library(tidyverse) #ࠓճ͸ಛʹdplyr,tidyr,stringr,purrrΛ࢖༻ library(readxl)

    #excelͷಡΈࠐΈʹ࢖༻
  6. ୀӃױऀௐࠪ 6 https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html

  7. ख࡞ۀͰͰ͖Δʁ 7 ෳ਺ྻ໊ ࡏӃ೔਺ ͍Βͳ͍ ϋΠϑϯ ͍Βͳ͍ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ

    පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸
  8. ͜ΕͳΒ෼ੳʹ͔͚ͨΓάϥϑ͕࡞ΕΔ 8 ೥౓ͰมΘΔ൪߸Λ ἧ͑ͨ ࢢொଜ໊෇͚ͨ ෳ਺೥Λͭͳ͛ͨ ප໊Ͱ΋ݕࡧͰ͖Δ ਓ਺͚ͩʹͨ͠

  9. ษڧ͢Δʹ͸Կ͔Β࢝ΊͨΒʁ ͜Ε͔͠উͨΜ 9 Ӊ஦ຊ

  10. ࠓճͷલॲཧ ˔UJEZʢ੔વσʔλʣʹ͢Δ ˔จࣈྻॲཧ ˔܁Γฦ͠ॲཧʹରԠ͢Δ ˔ؔ਺Ͱ·ͱΊΔ 10

  11. 3ͱ1ZUIPO 4"4ͷେ͖ͳҧ͍ 11 3 UJEZWFSTF ྻ໊͸ͭ UJEZʢ੔વσʔλʣʹ͢Ε͹উͪ 1ZUIPO 4"4 ෳ਺ྻ໊ʹରԠ

  12. UJEZʢ੔વσʔλʣͱ͸ʁ 8JLJQFEJB༷ΑΓ IUUQTKBXJLJQFEJBPSHXJLJ5JEZ@EBUB 12

  13. UJEZʹ͢ΔͨΊͷઓ͍ 13 /PU5JEZ 5JEZ

  14. ࠓճͷલॲཧ ˔UJEZʢ੔વσʔλʣʹ͢ΔɿUJEZS ˔จࣈྻॲཧɿTUSJOHS ˔܁Γฦ͠ॲཧʹରԠ͢ΔɿQVSSS ˔ؔ਺Ͱ·ͱΊΔɿGVODUJPO ˔͚ͬͭ͘ΔɿKPJO 14

  15. จࣈྻॲཧɿTUSJOHS 15 TUSJOHS ୅දతͳؔ਺ આ໌ ݕࡧ TUS@EFUFDU ͋Δจࣈྻؚ͕·Ε͍ͯͨΒ536& நग़ TUS@FYUSBDU

    TUS@FYUSBDU@BMM TUS@TVC ͋ΔύλʔϯʹҰக͢ΔจࣈྻΛநग़ ࠷ॳʢ࠷ޙʣ˓จࣈΛநग़ ஔ͖׵͑ TUS@SFQMBDF TUS@SFQMBDF@BMM ύλʔϯʹϚονͨ͠ՕॴΛஔ׵ Ճ޻ TUS@D จࣈྻΛ͚ͬͭ͘Δ https://kazutan.github.io/kazutanR/stringr-intro.html ͕ৄ͍͠Ͱ͢ʂ
  16. ਖ਼نදݱ ྫʣz fi MFYMTYzͱ͍͏ϑΝΠϧ໊͔Β৭ʑऔΓग़͍ͨ͠ 16

  17. ਖ਼نදݱ 17 TUS@FYUSBDU  fi MFYMTY <>  lz TUS@FYUSBDU@BMM

     fi MFYMTY <>  lz lz lz lz TUS@FYUSBDU@BMM  fi MFYMTY <>\^  lz TUS@FYUSBDU@BMM  fi MFYMTY <aaE>\^  lz TUS@FYUSBDU  fi MFYMTY ?<B[";>  lGz TUS@FYUSBDU  fi MFYMTY ?<B[";>   l fi MFz TUS@FYUSBDU  fi MFYMT <aa%>  lTz TUS@FYUSBDU l fi MFYMTY <aa%>   lYMTYz TUS@FYUSBDU l fi MFYMTYz z<> z lYMTYz l fi MFYMTYͷͲ͜Λ੾Γग़͔͢ʁ
  18. ˔UJEZʢ੔વσʔλʣʹ͢Δ ˔จࣈྻॲཧ ˔܁Γฦ͠ॲཧʹରԠ͢Δ ˔ؔ਺Ͱ·ͱΊΔ 18

  19. 19 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ ܁Γฦ͠QVSSS

  20. ͚ͬͭ͘ΔɿEQMZSKPJO 20

  21. ˔UJEZʢ੔વσʔλʣʹ͢Δ ˔܁Γฦ͠ॲཧʹରԠ͢Δ ˔จࣈྻॲཧ ˔ؔ਺Ͱ·ͱΊΔ 21

  22. ؔ਺Ͱ·ͱΊΔϝϦοτͱϙΠϯτ ˔ෆཁͳม਺͕ݮΔ ˔ଞͷϑΝΠϧͰ΋ར༻Ͱ͖ΔɻNBQ͕࢖͍΍͘͢ͳΔɻ 22 ؔ਺಺Ͱ࢖ΘΕΔม਺͸ ࢒Βͳ͍ ϑΥϧμ಺ʹ͋ΔϑΝΠϧΛ ·ͱΊͯಡΈࠐΊΔ

  23. ؔ਺Ͱ·ͱΊΔϝϦοτͱϙΠϯτ ˔͋Δ೥্͕ख͍͔ͬͨ͘Βͱ͍ͬͯҧ͏೥Ͱ΋্ख͘ߦ͔͘͸֬ೝඞཁ ɹɾYMT͕YMTYʹมΘͬͯ΋ରԠͰ͖Δίʔυ 
 ɹɾΤϥʔ͕ग़ͨΒͦͷ౎౓௚ؔ͠਺ʹܧ͗଍͍ͯ͘͠ 23

  24. ۩ମྫ 24

  25. ࠂࣔ൪߸Λଗ͑ΔͨΊͷલॲཧ 25

  26. σʔλΛ֬ೝ ɾཉ͍͠σʔλ͸͚ͩ͜͜ 
 ɾ˞ͷϚʔΫ͍Βͳ͍ 
 ɾ೥౓ͷྻΛ଍͍ͨ͠ 
 ɾվߦ͍Βͳ͍ 26 ▶︎

    ͜Ε͚ͩͳΒ௚઀ίʔυ͔͚ͦ͏
  27. ೥౓Ͱྻ໊͕มΘ͍ͬͯͳ͍͔νΣοΫ 27 1ʙ3ྻ໨ͱ”ࢪઃ໊”ͷྻ͚ͩཉ͍͠ʂ select(1:3, “ࢪઃ໊”)

  28. SFBE@FYDFMͰಡΈࠐΉ 28 read_excel ( path=ϑΝΠϧͷύε , sheet=γʔτͷ໊લ͔˓൪໨ͷγʔτ, #ࢦఆ͠ͳ͚Ε͹1ຕ໨ͷγʔτ skip=ઌ಄ʹ͍Βͳ͍ߦ͕͋Ε͹ࢦఆ ,

    col_names=ྻ໊Λࢦఆ͍ͨ͠৔߹ʢFALSEʹ͢Δͱྻ໊ΛಡΈࠐ·ͳ͍ʣ , n_max=Կߦ໨·ͰಡΈࠐΉ͔ʁ ) ଓ͖͸σϞͰʂ
  29. ࡞ͬͨ΋ͷΛؔ਺ʹ͢Δ 29 ଓ͖͸σϞͰʂ

  30. ࠂࣔ൪߸ͱ௨൪ͷؔ܎ 30 ৽͍͠೥౓ͷ௨൪ͱݹ͍೥౓ͷࠂࣔ൪߸ͷ਺ࣈ͕߹͏Α͏ʹjoin͢Δ ৽͍͠೥౓ %>% left_join(ݹ͍೥౓, by = c(“௨൪” =

    “ࠂࣔ൪߸”)
  31. ׬੒ʂ 31 ଓ͖͸σϞͰʂ

  32. ࢢொଜ൪߸ ૯຿লͷσʔλ͔ΒࢢொଜίʔυͷϑΝΠϧ͕μ΢ϯϩʔυͰ͖Δ 32 https://www.soumu.go.jp/denshijiti/code.html

  33. ୀӃױऀௐࠪ 33 https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html

  34. ·ͣ͸ྻ໊͔Β 34 ෳ਺ྻ໊ ࡏӃ೔਺ ͍Βͳ͍ ϋΠϑϯ ͍Βͳ͍ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ

    පӃ໊͕มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸
  35. ࡞ઓ ˔ྻ໊ͷΈΛಡΈࠐΈॎʹ͢Δ 35

  36. ࡞ઓ ˔UJEZS fi MM Ͱ/"Λ্ͷ஋ͰຒΊΔ 36

  37. ࡞ઓ ˔UJEZSVOJUF Ͱෳ਺ྻΛͭʹ߹ମͤ͞Δ 37 ৽͍͠ྻ໊ ܨ͍͛ͨྻ ϕΫτϧʹม׵ QVMM Ͱ΋0, ͜͜Ͱ͸શ෦

  38. ࡞ઓ ˔TUS@SFQMBSF@BMMͰ/"΍ه߸Λফ͢ 38 ޷ΈͰ͜ΕΒͷه߸΍εϖʔεΛফ͢͜ͱ΋Մೳ ࠓճ͸ɻͱεϖʔεΛফͨ͠

  39. ؔ਺ʹ͢Δ 39 ଓ͖͸σϞͰʂ

  40. දه༳Εͷ֬ೝ 40 ࡏӃ೔਺ ͍Βͳ͍ ϋΠϑϯ ͍Βͳ͍ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ පӃ໊͕มΘΔ͜ͱ͕͋Δ

    ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ ʢ༌݂Ҏ֎ͷ࠶ܝʣ Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸
  41. දه༳ΕΛ୳͢ ˔֤೥ͷྻ໊Λऔಘ ˔TFUEJ ff Ͱยํʹ͔͠ͳ͍΋ͷΛ୳͢ TFUEJ ff " # 


    ▶︎ "ʹ͔͠ແ͍΋ͷΛநग़ TFUEJ ff # " 
 ▶︎ #ʹ͔͠ແ͍΋ͷΛநग़ 41
  42. 42 ೥ͱ೥ɺ೥ͱ೥͸ಉ͡ ͱʹҧ͍͕͋Ε͹දه༳ΕͷՄೳੑ ΍͸දه༳ΕͰ͸ͳ͘ ͦ΋ͦ΋ͦͷ೥ʹ͔͠ͳ͔ͬͨՄೳੑ

  43. ͜ΕͰσʔλ͕ಡΈࠐΊΔʢޙͰ௚͢ʣ 43 ଓ͖͸σϞͰʂ

  44. ͍Βͳ͍ྻ 44 ࡏӃ೔਺ ͍Βͳ͍ ϋΠϑϯ ͍Βͳ͍ ೥౓͕มΘΔͱ පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ

    ʢ༌݂Ҏ֎ͷ࠶ܝʣ Λআ͍ͨ਺͕߹ܭ ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ
  45. ࡏӃ೔਺ͱʢ࠶ܝʣͷྻ͸͍Βͳ͍ ˔TFMFDU ͱDPOUBJOT ͰߜΓࠐΊΔ 45

  46. ϋΠϑϯΛফ͢ ▶︎ ਺஋σʔλʹม׵ 46 ϋΠϑϯ ͍Βͳ͍ ೥౓͕มΘΔͱ පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ

    ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ
  47. SFBESQBSTF@OVNCFS ˔NVUBUF BDSPTT બͼ͍ͨྻ ؔ਺ Λ࢖͏ 
 ˔SFBESQBSTF@OVNCFS ͸ࢦఆͨ͠ྻΛ਺஋σʔλʹ͢Δ 47

  48. /"Λʹม׵͢Δ ˔ؔ਺ʹҾ਺͕͋Δ৔߹΍ෳ਺ͷؔ਺Λඞཁͱ͢Δ৔߹ 
 ɹNVUBUF BDSPTT બͼ͍ͨྻ dؔ਺ Λ࢖͏ 
 ˔SFQMBDF@OB

    ࢦఆͨ͠ྻ ม׵͍ͨ͠஋ 48
  49. ͜͜·ͰΛؔ਺ʹ͢Δ 49 ଓ͖͸σϞͰʂ

  50. ࠂࣔ൪߸͕೥౓Ͱҧ͏໰୊ 50 ೥౓͕มΘΔͱ පӃ໊͕มΘΔ͜ͱ͕͋Δ ԣྻɺॎߦ º೥ؒ ೥౓͕มΘΔͱ ൪߸ҧ͏͜ͱ͕͋Δ ௨൪ʹલͷ೥ͷࠂࣔ൪߸ ೥౓͕มΘΔͱ

    ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ
  51. ࢪઃ֓ཁදͱKPJO͢ΔʂDTWϑΝΠϧʹ͢Δ 51 ଓ͖͸σϞͰʂ

  52. ͜͜·ͰͰ͖Δͱ܁Γฦ͢͜ͱ͕Ͱ͖Δ 52 ԣྻɺॎߦ º೥ؒ ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ

  53. 53 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ ܁Γฦ͠QVSSS

  54. ˔ϑΥϧμ಺ʹ͋ΔΤΫηϧϑΝΠϧΛ·ͱΊͯಡΈࠐΉ -JTU fi MFT ϑΥϧμ໊ NBQؔ਺Λ࢖ͬͯ܁Γฦ͢ 54 pattern=Ͱ৚݅ΛߜΔ ଓ͖͸σϞͰʂ

  55. ྻ਺ҧ͏໰୊ 55 ೥౓͕มΘΔͱ ૿͑ͨΓݮͬͨΓ͢Δ ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ

  56. XJEFσʔλ 56 σʔλ͕ԣʹฒΜͰ͍Δ

  57. MPOHσʔλͳΒؔ܎ͳ͍ʂ ˔UJEZͳΒྻ਺͕૿͑Δ͚ͩ 57

  58. UJEZSQJWPU@MPOHFSͰॎ࣋ͪσʔλʹม׵ QJWPU@MPOHFS 
 ɹDPMT·ͱΊ͍ͨྻ 
 ɹOBNFT@UP·ͱ·ͬͨޙʢྻ໊ʣͷྻ໊ 
 ɹWBMVFT@UP·ͱ·ͬͨޙʢ஋ʣͷྻ໊ 58

  59. QJWPU@MPOHFSͷOBNFT@TFQ OBNFT@TFQͰྻΛ෼ׂ͢Δ͜ͱ͕Ͱ͖Δ 59

  60. 5JEZ 60 ଓ͖͸σϞͰʂ

  61. දه༳ΕΛ௚͢ 61 ೥౓͕มΘΔͱ ප໊มΘΔ͜ͱ͕͋Δ

  62. දه༳ΕΛ௚͢ ˔UJEZʹͳ͔ͬͨΒNVUBUFͱJGFMTFͰ͙͢ʹ௚ͤΔ 62

  63. 63 ྫʣ&YDFMͷෳ਺λϒΛҰؾʹಡΈࠐΉ ܁Γฦ͠QVSSS

  64. ࠷ޙʹશ෦ͷϑΝΠϧΛಡΈࠐΉ 64 ଓ͖͸σϞͰʂ

  65. ͓ർΕ༷Ͱͨ͠ʂʂʂ ྻߦͷσʔλʂʂ 65

  66. લॲཧ͕Ͱ͖Ε͹࣍ʹਐΊΔ ूܭɹɹɹɹɹɹɹɹɹɹɹɹɹɹ8&#ΞϓϦʢTIJOZʣ 66

  67. TIJOZͳΒʂʂʂ 67

  68. ՝୊ ࠓճ͸࠷৽ͷ೥౓ͷපӃͷ໊લʹ߹Θ͍ͤͯΔ 
 ɹɾ࠷৽ͷ೥౓ʹͳ͍පӃ͸ল͔Ε͍ͯΔ 
 ɹɾ߹ซͨ͠පӃ͸ରԠ͍ͯ͠ͳ͍ ▶︎ ʢࣗ෼ͷ࢓ࣄͷൣғͩͱࠔΒͳ͍͕ʣ 
 ɹɹݚڀͰ࢖͏ͳΒ΋ͬͱݫີʹ͢Δඞཁ͕͋Δ͔΋͠Εͳ͍

    ▶︎ ɹ%1$Λѻ͏ํͷҙݟΛ࢕ͬͯΈ͍ͨͰ͢ɻ 68
  69. ऴΘΓʹ ˔&YDFMͷख࡞ۀͰ͸Ͱ͖ͳ͍͜ͱ͕3΍QZUIPOͳΒͰ͖ͯ͠·͍·͢ ˔ҩྍ౷ܭ͸&YDFMͷ࡞Γํ͕ྑ͚Ε͹લॲཧ͸΄΅ඞཁ͋Γ·ͤΜ ˔ͨͩ৭ʑͳσʔλΛ෼ੳͨ͘͠ͳΔͱલॲཧ͸ඞཁʹͳΓ·͢ 
 ɹʢ༧ࢉͷׂҎ্͸લॲཧʹ࢖͍ͬͯΔͱ͍͏ӟ΋ʜʣ ˔ਓͰಠֶ͍ͯ͠·͢ɻݱ࣌఺Ͱ͸͜ͷఔ౓Ͱ͢ɻ 
 ɹ·ͩ·ͩஓ੿ͳίʔυ΋ଟ͍ͷͰΞυόΠε͍͖͍ͨͩͨͰ͢͠ɺ 


    ɹͲͷఔ౓ͷ࣮ྗ͔ʢશવμϝ ࠷௿ݶ͸ΫϦΞ ଈઓྗʹͳΔPSOPUʣ΋ 
 ɹϑΟʔυόοΫ͍͚ͨͩΔͱ޾͍Ͱ͢ʂ 69