BADオープンデータ供養寺2021

Code for Japan Summit 2021において9.19(日) 16:30-17:20に開催されたセッション「BADオープンデータ供養寺」のイントロダクション資料です。
https://summit2021.code4japan.org/programs/0a0f673720fb48e9b17e485dd98bdc96

Transcript

1. ό ỽ υ Φ ồ ϓ ϯ σ ồ λ ڙ ཆ ࣉ bad-data.rip
2. ό ỽ υ Φ ồ ϓ ϯ σ ồ λ ڙ ཆ ࣉ ͸ ỏ ͜ ͷ ੈ Λ ͞ · Α ͏ ό ỽ υ Φ ồ ϓ ϯ σ ồ λ Λ ڙ ཆ ớ ử σ ồ λ Ϋ Ϩ ϯ δ ϯ ά Ờ ͠ ͯ ỏ ά ỽ υ σ ồ λ ʹ ੜ · Ε ม Θ Β ͤ Δ ํ ๏ Λ ڞ ༗ ͢ Δ ৔ ॴ Ͱ ͢ Ố 2021/9/19 Sayoko Shimoyama, LinkData 5
3. ͳ ͥ ủ ࣉ Ứ ͳ ͷ ͔ ʁ എܠը૾ɿେ೦ࣉͷ৊࿖ࢁ໳ʢࠤੈอࢢʣ
   $$
   #:
   
   IUUQTPEDTCPEJLKQJNBHF JEGGGBFEFDFCG τϥοΫʢʣɿ৔ֶ࣮ʮ͓ࣉͰͷεςϡʔσϯςοΫ͔Β࢝ΊΔɺ γϏοΫςοΫ΁ͷ௅ઓʯ৿ా ळഅࢯͷεϥΠυΑΓ
4. ό ỽ υ Φ ồ ϓ ϯ σ ồ λ ͱ ͸ u ෼ ੳ Λ ͠ ͨ Γ ỏ α ồ Ϗ ε Λ ࡞ ỳ ͨ Γ ͠ Α ͏ ͱ ͠ ͨ ࣌ ʹ ỏ ࢖ ༻ Մ ೳ ʹ ͳ ỳ ͯ ͍ ͳ ͍ Φ ồ ϓ ϯ σ ồ λ u ࢖ ͑ Δ Α ͏ ʹ ͢ Δ ʹ ͸ ๲ େ ͳ ख ؒ ͕ ͔ ͔ Δ u த ʹ ͸ σ ồ λ ͷ ղ ऍ ʹ ࢧ ো Λ ͖ ͨ ͢ Α ͏ ͳ ڟ ѱ ͳ ΋ ͷ ΋ ͋ Γ ỏ ؾ ෇ ͔ ͣ ʹ ࢖ ỳ ͯ ͠ · ͏ ͱ ൵ ࢂ
5. ủ ڙ ཆ Ứ ͱ ͍ ͏ ί ϯ η ϓ τ u ό ỽ υ σ ồ λ ͸ ୭ ͔ Λ ۤ ͠ Ί Α ͏ ͱ ҙ ਤ ͠ ͯ ࡞ Β Ε ͨ ༁ Ͱ ͸ ͋ Γ · ͤ Μ u ࡞ ੒ ऀ ͸ ỏ ద ੾ ͳ σ ồ λ ͕ Ͳ ͷ Α ͏ ͳ ΋ ͷ ͔ ஌ Β ͳ ͔ ỳ ͨ ͷ ͔ ΋ ͠ Ε · ͤ Μ u ͠ ͔ ͠ ỏ ό ỽ υ σ ồ λ ͸ ೋ ౓ ͱ ͜ ͷ ੈ Λ ኲ ኾ Θ ͳ ͍ Α ͏ ʹ ੒ ෹ ͞ ͤ Δ ඞ ཁ ͕ ͋ Γ · ͢
6. 9 ό ỽ υ Φ ồ ϓ ϯ σ ồ λ ໰ ୊ ୳ ͤ ͳ ͍ ར ༻ ্ ͷ ੍ ݶ ͕ ͋ Δ ܗ ࣜ ͕ ࢖ ͍ ͮ Β ͍ ͦ ͷ ଞ σ ồ λ ඼ ࣭ ্ ͷ ໰ ୊ ớ ਖ਼ ֬ ੑ ỏ ࠷ ৽ ੑ ỏ ਫ਼ ౓ ͳ Ͳ Ờ
7. 10 ό ỽ υ Φ ồ ϓ ϯ σ ồ λ ໰ ୊ ୳ ͤ ͳ ͍ ར ༻ ্ ͷ ੍ ݶ ͕ ͋ Δ ܗ ࣜ ͕ ࢖ ͍ ͮ Β ͍ ͦ ͷ ଞ σ ồ λ ඼ ࣭ ্ ͷ ໰ ୊ ớ ਖ਼ ֬ ੑ ỏ ࠷ ৽ ੑ ỏ ਫ਼ ౓ ͳ Ͳ Ờ
8. ΦʔϓϯσʔλΛ୳ͤΔαΠτ Data.go.jp n೔ຊ੓෎ެࣜΦʔϓϯ σʔλΧλϩά nӡӦɿ ಺ֳ׭๪*5ࣨ ˣ σδλϧி ʢ೥݄ʙʣ nఏڙσʔληοτ਺ɿ  
   ݅ ʢݱࡏʣ https://www.data.go.jp/ എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ
   $$
   #:
   
   IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
9. ΦʔϓϯσʔλΛ୳ͤΔαΠτ Data.go.jpͷམͱ݀͠ᶃ 63-௚ଧͪ ͰΞΫηε ͢Δࡍɺઌ ಄ʹ lXXXz
   Λ͚ͭͳ͍ ͱΞΫηε Ͱ͖ͳ͍ 12
10. ΦʔϓϯσʔλΛ୳ͤΔαΠτ Data.go.jpͷམͱ݀͠ᶄ ϑΥʔϚοτ͕ දه༳Ε͍ͯ͠Δ ͨ·ʹؒҧ͍ͬͯΔ 13
11. ΦʔϓϯσʔλΛ୳ͤΔαΠτ ֤ػؔͷσʔλΧλϩάαΠτ 3&4"4ʢ஍Ҭܦࡁ෼ੳγε ςϜʣ IUUQTSFTBTHPKQ n ӡӦɿ಺ֳ׭๪ɾܦ࢈ল 14 ౦ژ౎ΦʔϓϯσʔλΧλϩ άαΠτ IUUQTXXXNFUSPUPLZPM HKQ nӡӦɿ౦ژ౎ େࡕࢢΦʔϓϯσʔλϙʔλ ϧαΠτ IUUQTEBUBDJUZPTBLBMHK Q nӡӦɿେࡕࢢ എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ
    $$
    #:
    
    IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
12. ΦʔϓϯσʔλΛ୳ͤΔαΠτ ࢄΒ͹Γա͗ ݱঢ়ɺ࢖͍͍ͨσʔλ͕ಛఆͰ͖͍ͯͳ͍ݶΓ άάͬͨํ͕ૣ͍ 
13. ΦʔϓϯσʔλΛ୳ͤΔαΠτ F4UBU nࠃ಺ͷ౷ܭσʔλͷ ϙʔλϧαΠτ nӡӦɿ૯຿ল౷ܭہɺ ಠཱߦ੓๏ਓ౷ܭηϯ λʔ nఏڙσʔληοτ਺ɿ   
    ݅ ʢݱࡏʣ https://www.e-stat.go.jp/ എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ
    $$
    #:
    
    IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
14. ΦʔϓϯσʔλΛ୳ͤΔαΠτ F4UBUͷམͱ݀͠ᶃ Ωʔϫʔυݕࡧ ͢ΔͱɺσϑΥ ϧτͰউखʹ ʮ੓෎౷ܭʯʹ ߜΓࠐ·ΕΔ ˠʮσʔληο τʯʹ੾Γସ͑ Δඞཁ͕͋Δ 
15. ΦʔϓϯσʔλΛ୳ͤΔαΠτ F4UBUͷམͱ݀͠ᶄ σʔληοτʹ୧Γண͘લͷ෼ذͰ໎͏ ɾσʔλϕʔε ɾϑΝΠϧ 
16. F4UBUͷϑΝΠϧͱσʔλϕʔεͷҧ͍ σʔλϕʔε n機械判読性の⾼いcsv形式のデータ を取得することができる（タテ持ち 形式でのダウンロードも可能） nAPIでも取得可能 n調査によって⼀部のデータしかデー タベース化されていない n結果公表から提供されるまでにタイ ムラグがある ϑΝΠϧ n統計表を単体で取得することができ る nAPIでの取得対象外 n帳票形式のデータになっていてデー タクレンジングが必要な場合が多い n提供されるタイミングが早い എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ
    $$
    #:
    
    IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
17. ·ͣ͸'JOEBCJMJUZʢ୳ͤΔʣͷ֬อΛ nσʔλ͸·ͣݟ͚ͭΒΕͳ͚Ε͹Կ΋ਐ·ͳ͍ nσʔλఏڙͷݪଇʮ'"*3ݪଇʯʹ͓͍ͯ΋·ͣ'JOEBCJMJUZͷ֬อ͕ඞཁ ͱ͞Ε͍ͯΔ nϝλσʔλ͕੔උ͞Ε͍ͯͳ͍ͱ'JOEBCMFʹͳΒͳ͍ എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ
    $$
    #:
    
    IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
18. ʮϝλσʔλʯͷ੔උ͸σʔλ؅ཧͷجຊ nϝλσʔλͱ͸ɺσʔλͷλΠτϧɺઆ໌ɺ࡞੒೔ɺ࡞੒ऀ౳ɺ σʔλͷ؅ཧ৘ใΛॴఆͷܗࣜͰ·ͱΊͨ΋ͷ nʮσʔλʹؔ͢ΔσʔλʯΛҙຯ͢Δ nΠϝʔδͱͯ͠͸ʮσʔλͷ؅ཧ୆ாʯ λΠτϧ આ໌ ॴ؅՝ ࠷ऴߋ৽೔ ϑΝΠϧͷ৔ॴ ʜ ެڞࢪઃҰཡ ެڞࢪઃͷҰཡɻҢ౓ܦ౓෇͖ɻࢪઃ؅ཧ՝  ʜʜʜ ;Δ͞ͱೲ੫ฦྱ඼Ұཡ ;Δ͞ͱೲ੫ͷฦྱ඼ͷҰཡɻ ޿ใ՝  ʜʜʜ ৽ܕίϩφཅੑऀଐੑ ৽ܕίϩφཅੑऀͷҰཡɻ อ݈෱ࢱ՝  ʜʜʜ
19. &6ʹ͓͚Δϝλσʔλඪ४ͷ౷ҰʹΑΔ σʔλͷҰݩతఏڙ n&6Ͱ͸ϝλσʔλ ඪ४͕ͷར༻͕ਪ ঑͞Ε͍ͯΔ nϝλσʔλ࿈ܞʹ ΑΓɺ࣏ࣗମϨϕ ϧͷσʔλϙʔλ ϧ͔ΒɺࠃϨϕϧ ͷϙʔλϧɺ&6ͷ ϙʔλϧ΁σʔλ ͕ू໿͞ΕΔ nྫʣΞΠϧϥϯυ 2020/10/23 22
20. %BUBHPKQ
    ͱ +BQBO
    4FBSDI
    ͷϝλσʔλ࿈ܞ • %BUBHPKQͰ͸ࠃࡍඪ४ͷ%$"5ʹ४ڌͨ͠ܗͰϝλσʔλ͕ެ։͞Ε͍ͯΔ • ͜ΕʹΑͬͯ֎෦ͷσʔλݕࡧαʔϏεͱͷ࿈ܞ͕༰қʹͳΓɺ +"1"/
    4&"3$)ʢӡӦɿࠃཱࠃձਤॻؗʣ͔Β΋%BUBHPKQͷσʔλ͕ݕࡧՄೳʹ 23 例）「⽂部科学⽩書」 でキーワード検索
21. ࠃͷ౷ܭσʔλ΋ϝλσʔλ੔උʹ஫ྗ n౷ܭہɿ౷ܭσʔλͷ੔උʹ܎Δجຊํ਑ʢྩ࿨೥݄೔ʣ 24 https://www.stat.go.jp/info/guide/public/kyogikai/kyougi.html
22. ό ỽ υ σ ồ λ ͷ Ҽ Ռ Λ ḷ Δ ͱ ݩ ڟ ͸ Ψ ό φ ϯ ε u ૊ ৫ த Ͱ ͸ ม ͑ Β Ε ͳ ͍ ͜ ͱ ΋ ଟ ͍ u ֎ ෦ ͔ Β ͷ ϑ ỹ ồ υ ό ỽ Ϋ ͕ վ ળ ͷ ν Ỿ ϯ ε u ͨ ͩ ͠ ૬ ख ΋ ਓ ؒ ỏ Ϧ ε ϖ Ϋ τ Λ ࣋ ỳ ͯ ٬ ؍ త ʹ ࢦ ఠ Λ
23. ό ỽ υ Φ ồ ϓ ϯ σ ồ λ ڙ ཆ ࣉ Ұ ỏ ͜ ͷ ੈ ͷ ແ ؒ ஍ ࠈ ͸ Φ ồ ϓ ϯ σ ồ λ ׆ ༻ · Ͱ ͷ ಓ ͷ Γ ʹ ࡏ Γ ߴ ໦ ༞ հ ࢯ ớ ג ࣜ ձ ࣾ ࣗ ಈ ॲ ཧ Ờ ೋ ỏ ফ ͑ ͨ ઀ छ ه ࿥ ͷ ո େ ࢁ ਫ ൕ ࢯ ớ ށ ా ࢢ ا ը ࡒ ੓ ෦ ࣍ ௕ ݉ σ δ λ ϧ ઓ ུ ࣨ ௕ Ờ ࡾ ỏ ೶ ஍ σ ồ λ ׆ ༻ · Ͱ ͷ ؾ ͕ ԕ ͘ ͳ Δ Α ͏ ͳ ಓ ఔ ޲ ߐ ୓ ࿠ ࢯ ớ ೶ ྛ ਫ ࢈ ল Ờ
24. ༧ ࠂ ⽅ ৽ ݄ ͷ ໷ ͸ σ ồ λ ڙ ཆ ձ ೔ ࣌ ୈ Ұ ໷ ⽅ े ݄ ࿡ ೔ ớ ਫ Ờ ೋ ࡾ ࣌ ࡾ े ෼ Ỗ ೋ ࢛ ࣌ ࡾ े ෼ Ҏ ߱ ỏ ຖ ݄ ৽ ݄ ͷ ໷ ʹ ։ ࠵ ༧ ఆ ট ଴ ऀ ୈ Ұ ໷ ⽅ ߴ ໦ ༞ հ ࢯ ớ ג ࣜ ձ ࣾ ࣗ ಈ ॲ ཧ Ờ
25. Α Γ ྑ ͍ Φ ồ ϓ ϯ σ ồ λ Λ Έ Μ ͳ Ͱ ࡞ ỳ ͯ ߦ ͖ · ͠ Ỷ ͏ Ố ޱϊཬ೦෹ߨʢࠤੈอࢢʣ
    $$
    #:
    
    IUUQTPEDTCPEJLKQJNBHF JEFGEDBFDFCBF