Upgrade to Pro — share decks privately, control downloads, hide ads and more …

BADオープンデータ供養寺2021

 BADオープンデータ供養寺2021

Code for Japan Summit 2021において9.19(日) 16:30-17:20に開催されたセッション「BADオープンデータ供養寺」のイントロダクション資料です。
https://summit2021.code4japan.org/programs/0a0f673720fb48e9b17e485dd98bdc96

8dea1f82c78ad28481eebe3bcd345504?s=128

Sayoko Shimoyama

September 19, 2021
Tweet

Transcript

  1. ό ỽ υ Φ ồ ϓ ϯ σ ồ λ

    ڙ ཆ ࣉ bad-data.rip
  2. ό ỽ υ Φ ồ ϓ ϯ σ ồ λ

    ڙ ཆ ࣉ ͸ ỏ ͜ ͷ ੈ Λ ͞ · Α ͏ ό ỽ υ Φ ồ ϓ ϯ σ ồ λ Λ ڙ ཆ ớ ử σ ồ λ Ϋ Ϩ ϯ δ ϯ ά Ờ ͠ ͯ ỏ ά ỽ υ σ ồ λ ʹ ੜ · Ε ม Θ Β ͤ Δ ํ ๏ Λ ڞ ༗ ͢ Δ ৔ ॴ Ͱ ͢ Ố 2021/9/19 Sayoko Shimoyama, LinkData 5
  3. ͳ ͥ ủ ࣉ Ứ ͳ ͷ ͔ ʁ എܠը૾ɿେ೦ࣉͷ৊࿖ࢁ໳ʢࠤੈอࢢʣ

    $$#: IUUQTPEDTCPEJLKQJNBHF JEGGGBFEFDFCG τϥοΫʢʣɿ৔ֶ࣮ʮ͓ࣉͰͷεςϡʔσϯςοΫ͔Β࢝ΊΔɺ γϏοΫςοΫ΁ͷ௅ઓʯ৿ా ळഅࢯͷεϥΠυΑΓ
  4. ό ỽ υ Φ ồ ϓ ϯ σ ồ λ

    ͱ ͸ u ෼ ੳ Λ ͠ ͨ Γ ỏ α ồ Ϗ ε Λ ࡞ ỳ ͨ Γ ͠ Α ͏ ͱ ͠ ͨ ࣌ ʹ ỏ ࢖ ༻ Մ ೳ ʹ ͳ ỳ ͯ ͍ ͳ ͍ Φ ồ ϓ ϯ σ ồ λ u ࢖ ͑ Δ Α ͏ ʹ ͢ Δ ʹ ͸ ๲ େ ͳ ख ؒ ͕ ͔ ͔ Δ u த ʹ ͸ σ ồ λ ͷ ղ ऍ ʹ ࢧ ো Λ ͖ ͨ ͢ Α ͏ ͳ ڟ ѱ ͳ ΋ ͷ ΋ ͋ Γ ỏ ؾ ෇ ͔ ͣ ʹ ࢖ ỳ ͯ ͠ · ͏ ͱ ൵ ࢂ
  5. ủ ڙ ཆ Ứ ͱ ͍ ͏ ί ϯ η

    ϓ τ u ό ỽ υ σ ồ λ ͸ ୭ ͔ Λ ۤ ͠ Ί Α ͏ ͱ ҙ ਤ ͠ ͯ ࡞ Β Ε ͨ ༁ Ͱ ͸ ͋ Γ · ͤ Μ u ࡞ ੒ ऀ ͸ ỏ ద ੾ ͳ σ ồ λ ͕ Ͳ ͷ Α ͏ ͳ ΋ ͷ ͔ ஌ Β ͳ ͔ ỳ ͨ ͷ ͔ ΋ ͠ Ε · ͤ Μ u ͠ ͔ ͠ ỏ ό ỽ υ σ ồ λ ͸ ೋ ౓ ͱ ͜ ͷ ੈ Λ ኲ ኾ Θ ͳ ͍ Α ͏ ʹ ੒ ෹ ͞ ͤ Δ ඞ ཁ ͕ ͋ Γ · ͢
  6. 9 ό ỽ υ Φ ồ ϓ ϯ σ ồ

    λ ໰ ୊ ୳ ͤ ͳ ͍ ར ༻ ্ ͷ ੍ ݶ ͕ ͋ Δ ܗ ࣜ ͕ ࢖ ͍ ͮ Β ͍ ͦ ͷ ଞ σ ồ λ ඼ ࣭ ্ ͷ ໰ ୊ ớ ਖ਼ ֬ ੑ ỏ ࠷ ৽ ੑ ỏ ਫ਼ ౓ ͳ Ͳ Ờ
  7. 10 ό ỽ υ Φ ồ ϓ ϯ σ ồ

    λ ໰ ୊ ୳ ͤ ͳ ͍ ར ༻ ্ ͷ ੍ ݶ ͕ ͋ Δ ܗ ࣜ ͕ ࢖ ͍ ͮ Β ͍ ͦ ͷ ଞ σ ồ λ ඼ ࣭ ্ ͷ ໰ ୊ ớ ਖ਼ ֬ ੑ ỏ ࠷ ৽ ੑ ỏ ਫ਼ ౓ ͳ Ͳ Ờ
  8. ΦʔϓϯσʔλΛ୳ͤΔαΠτ Data.go.jp n೔ຊ੓෎ެࣜΦʔϓϯ σʔλΧλϩά nӡӦɿ ಺ֳ׭๪*5ࣨ ˣ σδλϧி ʢ೥݄ʙʣ nఏڙσʔληοτ਺ɿ

     ݅ ʢݱࡏʣ https://www.data.go.jp/ എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
  9. ΦʔϓϯσʔλΛ୳ͤΔαΠτ Data.go.jpͷམͱ݀͠ᶃ 63-௚ଧͪ ͰΞΫηε ͢Δࡍɺઌ ಄ʹ lXXXz Λ͚ͭͳ͍ ͱΞΫηε Ͱ͖ͳ͍

    12
  10. ΦʔϓϯσʔλΛ୳ͤΔαΠτ Data.go.jpͷམͱ݀͠ᶄ ϑΥʔϚοτ͕ දه༳Ε͍ͯ͠Δ ͨ·ʹؒҧ͍ͬͯΔ 13

  11. ΦʔϓϯσʔλΛ୳ͤΔαΠτ ֤ػؔͷσʔλΧλϩάαΠτ 3&4"4ʢ஍Ҭܦࡁ෼ੳγε ςϜʣ IUUQTSFTBTHPKQ n ӡӦɿ಺ֳ׭๪ɾܦ࢈ল 14 ౦ژ౎ΦʔϓϯσʔλΧλϩ άαΠτ

    IUUQTXXXNFUSPUPLZPM HKQ nӡӦɿ౦ژ౎ େࡕࢢΦʔϓϯσʔλϙʔλ ϧαΠτ IUUQTEBUBDJUZPTBLBMHK Q nӡӦɿେࡕࢢ എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
  12. ΦʔϓϯσʔλΛ୳ͤΔαΠτ ࢄΒ͹Γա͗ ݱঢ়ɺ࢖͍͍ͨσʔλ͕ಛఆͰ͖͍ͯͳ͍ݶΓ άάͬͨํ͕ૣ͍ 

  13. ΦʔϓϯσʔλΛ୳ͤΔαΠτ F4UBU nࠃ಺ͷ౷ܭσʔλͷ ϙʔλϧαΠτ nӡӦɿ૯຿ল౷ܭہɺ ಠཱߦ੓๏ਓ౷ܭηϯ λʔ nఏڙσʔληοτ਺ɿ  

    ݅ ʢݱࡏʣ https://www.e-stat.go.jp/ എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
  14. ΦʔϓϯσʔλΛ୳ͤΔαΠτ F4UBUͷམͱ݀͠ᶃ Ωʔϫʔυݕࡧ ͢ΔͱɺσϑΥ ϧτͰউखʹ ʮ੓෎౷ܭʯʹ ߜΓࠐ·ΕΔ ˠʮσʔληο τʯʹ੾Γସ͑ Δඞཁ͕͋Δ

    
  15. ΦʔϓϯσʔλΛ୳ͤΔαΠτ F4UBUͷམͱ݀͠ᶄ σʔληοτʹ୧Γண͘લͷ෼ذͰ໎͏ ɾσʔλϕʔε ɾϑΝΠϧ 

  16. F4UBUͷϑΝΠϧͱσʔλϕʔεͷҧ͍ σʔλϕʔε n機械判読性の⾼いcsv形式のデータ を取得することができる(タテ持ち 形式でのダウンロードも可能) nAPIでも取得可能 n調査によって⼀部のデータしかデー タベース化されていない n結果公表から提供されるまでにタイ ムラグがある

    ϑΝΠϧ n統計表を単体で取得することができ る nAPIでの取得対象外 n帳票形式のデータになっていてデー タクレンジングが必要な場合が多い n提供されるタイミングが早い എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
  17. ·ͣ͸'JOEBCJMJUZʢ୳ͤΔʣͷ֬อΛ nσʔλ͸·ͣݟ͚ͭΒΕͳ͚Ε͹Կ΋ਐ·ͳ͍ nσʔλఏڙͷݪଇʮ'"*3ݪଇʯʹ͓͍ͯ΋·ͣ'JOEBCJMJUZͷ֬อ͕ඞཁ ͱ͞Ε͍ͯΔ nϝλσʔλ͕੔උ͞Ε͍ͯͳ͍ͱ'JOEBCMFʹͳΒͳ͍ എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC

  18. ʮϝλσʔλʯͷ੔උ͸σʔλ؅ཧͷجຊ nϝλσʔλͱ͸ɺσʔλͷλΠτϧɺઆ໌ɺ࡞੒೔ɺ࡞੒ऀ౳ɺ σʔλͷ؅ཧ৘ใΛॴఆͷܗࣜͰ·ͱΊͨ΋ͷ nʮσʔλʹؔ͢ΔσʔλʯΛҙຯ͢Δ nΠϝʔδͱͯ͠͸ʮσʔλͷ؅ཧ୆ாʯ λΠτϧ આ໌ ॴ؅՝ ࠷ऴߋ৽೔ ϑΝΠϧͷ৔ॴ

    ʜ ެڞࢪઃҰཡ ެڞࢪઃͷҰཡɻҢ౓ܦ౓෇͖ɻࢪઃ؅ཧ՝  ʜʜʜ ;Δ͞ͱೲ੫ฦྱ඼Ұཡ ;Δ͞ͱೲ੫ͷฦྱ඼ͷҰཡɻ ޿ใ՝  ʜʜʜ ৽ܕίϩφཅੑऀଐੑ ৽ܕίϩφཅੑऀͷҰཡɻ อ݈෱ࢱ՝  ʜʜʜ
  19. &6ʹ͓͚Δϝλσʔλඪ४ͷ౷ҰʹΑΔ σʔλͷҰݩతఏڙ n&6Ͱ͸ϝλσʔλ ඪ४͕ͷར༻͕ਪ ঑͞Ε͍ͯΔ nϝλσʔλ࿈ܞʹ ΑΓɺ࣏ࣗମϨϕ ϧͷσʔλϙʔλ ϧ͔ΒɺࠃϨϕϧ ͷϙʔλϧɺ&6ͷ

    ϙʔλϧ΁σʔλ ͕ू໿͞ΕΔ nྫʣΞΠϧϥϯυ 2020/10/23 22
  20. %BUBHPKQͱ +BQBO4FBSDIͷϝλσʔλ࿈ܞ • %BUBHPKQͰ͸ࠃࡍඪ४ͷ%$"5ʹ४ڌͨ͠ܗͰϝλσʔλ͕ެ։͞Ε͍ͯΔ • ͜ΕʹΑͬͯ֎෦ͷσʔλݕࡧαʔϏεͱͷ࿈ܞ͕༰қʹͳΓɺ +"1"/4&"3$)ʢӡӦɿࠃཱࠃձਤॻؗʣ͔Β΋%BUBHPKQͷσʔλ͕ݕࡧՄೳʹ 23 例)「⽂部科学⽩書」 でキーワード検索

  21. ࠃͷ౷ܭσʔλ΋ϝλσʔλ੔උʹ஫ྗ n౷ܭہɿ౷ܭσʔλͷ੔උʹ܎Δجຊํ਑ʢྩ࿨೥݄೔ʣ 24 https://www.stat.go.jp/info/guide/public/kyogikai/kyougi.html

  22. ό ỽ υ σ ồ λ ͷ Ҽ Ռ Λ

    ḷ Δ ͱ ݩ ڟ ͸ Ψ ό φ ϯ ε u ૊ ৫ த Ͱ ͸ ม ͑ Β Ε ͳ ͍ ͜ ͱ ΋ ଟ ͍ u ֎ ෦ ͔ Β ͷ ϑ ỹ ồ υ ό ỽ Ϋ ͕ վ ળ ͷ ν Ỿ ϯ ε u ͨ ͩ ͠ ૬ ख ΋ ਓ ؒ ỏ Ϧ ε ϖ Ϋ τ Λ ࣋ ỳ ͯ ٬ ؍ త ʹ ࢦ ఠ Λ
  23. ό ỽ υ Φ ồ ϓ ϯ σ ồ λ

    ڙ ཆ ࣉ Ұ ỏ ͜ ͷ ੈ ͷ ແ ؒ ஍ ࠈ ͸ Φ ồ ϓ ϯ σ ồ λ ׆ ༻ · Ͱ ͷ ಓ ͷ Γ ʹ ࡏ Γ ߴ ໦ ༞ հ ࢯ ớ ג ࣜ ձ ࣾ ࣗ ಈ ॲ ཧ Ờ ೋ ỏ ফ ͑ ͨ ઀ छ ه ࿥ ͷ ո େ ࢁ ਫ ൕ ࢯ ớ ށ ా ࢢ ا ը ࡒ ੓ ෦ ࣍ ௕ ݉ σ δ λ ϧ ઓ ུ ࣨ ௕ Ờ ࡾ ỏ ೶ ஍ σ ồ λ ׆ ༻ · Ͱ ͷ ؾ ͕ ԕ ͘ ͳ Δ Α ͏ ͳ ಓ ఔ ޲ ߐ ୓ ࿠ ࢯ ớ ೶ ྛ ਫ ࢈ ল Ờ
  24. ༧ ࠂ ⽅ ৽ ݄ ͷ ໷ ͸ σ ồ

    λ ڙ ཆ ձ ೔ ࣌ ୈ Ұ ໷ ⽅ े ݄ ࿡ ೔ ớ ਫ Ờ ೋ ࡾ ࣌ ࡾ े ෼ Ỗ ೋ ࢛ ࣌ ࡾ े ෼ Ҏ ߱ ỏ ຖ ݄ ৽ ݄ ͷ ໷ ʹ ։ ࠵ ༧ ఆ ট ଴ ऀ ୈ Ұ ໷ ⽅ ߴ ໦ ༞ հ ࢯ ớ ג ࣜ ձ ࣾ ࣗ ಈ ॲ ཧ Ờ
  25. Α Γ ྑ ͍ Φ ồ ϓ ϯ σ ồ

    λ Λ Έ Μ ͳ Ͱ ࡞ ỳ ͯ ߦ ͖ · ͠ Ỷ ͏ Ố ޱϊཬ೦෹ߨʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEFGEDBFDFCBF