BADオープンデータ供養寺2021

Code for Japan Summit 2021において9.19(日) 16:30-17:20に開催されたセッション「BADオープンデータ供養寺」のイントロダクション資料です。
https://summit2021.code4japan.org/programs/0a0f673720fb48e9b17e485dd98bdc96

Transcript

1. ό
   ỽ
   υ
   Φ
   ồ
   ϓ
   ϯ
   σ
   ồ
   λ
   ڙ
   ཆ
   ࣉ
   bad-data.rip
   

   View Slide

2. ό
   ỽ
   υ
   Φ
   ồ
   ϓ
   ϯ
   σ
   ồ
   λ
   ڙ
   ཆ
   ࣉ
   ͸
   ỏ
   ͜
   ͷ
   ੈ
   Λ
   ͞
   ·
   Α
   ͏
   ό
   ỽ
   υ
   Φ
   ồ
   ϓ
   ϯ
   σ
   ồ
   λ
   Λ
   ڙ
   ཆ
   ớ
   ử
   σ
   ồ
   λ
   Ϋ
   Ϩ
   ϯ
   δ
   ϯ
   ά
   Ờ
   ͠
   ͯ
   ỏ
   ά
   ỽ
   υ
   σ
   ồ
   λ
   ʹ
   ੜ
   ·
   Ε
   ม
   Θ
   Β
   ͤ
   Δ
   ํ
   ๏
   Λ
   ڞ
   ༗
   ͢
   Δ
   ৔
   ॴ
   Ͱ
   ͢
   Ố
   2021/9/19 Sayoko Shimoyama, LinkData 5
   

   View Slide

3. ͳ
   ͥ
   ủ
   ࣉ
   Ứ
   ͳ
   ͷ
   ͔
   ʁ
   എܠը૾ɿେ೦ࣉͷ৊࿖ࢁ໳ʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEGGGBFEFDFCG
   τϥοΫʢʣɿ৔ֶ࣮ʮ͓ࣉͰͷεςϡʔσϯςοΫ͔Β࢝ΊΔɺ
   γϏοΫςοΫ΁ͷ௅ઓʯ৿ా ळഅࢯͷεϥΠυΑΓ
   

   View Slide

4. ό
   ỽ
   υ
   Φ
   ồ
   ϓ
   ϯ
   σ
   ồ
   λ
   ͱ
   ͸
   u
   ෼
   ੳ
   Λ
   ͠
   ͨ
   Γ
   ỏ
   α
   ồ
   Ϗ
   ε
   Λ
   ࡞
   ỳ
   ͨ
   Γ
   ͠
   Α
   ͏
   ͱ
   ͠
   ͨ
   ࣌
   ʹ
   ỏ
   ࢖
   ༻
   Մ
   ೳ
   ʹ
   ͳ
   ỳ
   ͯ
   ͍
   ͳ
   ͍
   Φ
   ồ
   ϓ
   ϯ
   σ
   ồ
   λ
   u
   ࢖
   ͑
   Δ
   Α
   ͏
   ʹ
   ͢
   Δ
   ʹ
   ͸
   ๲
   େ
   ͳ
   ख
   ؒ
   ͕
   ͔
   ͔
   Δ
   u
   த
   ʹ
   ͸
   σ
   ồ
   λ
   ͷ
   ղ
   ऍ
   ʹ
   ࢧ
   ো
   Λ
   ͖
   ͨ
   ͢
   Α
   ͏
   ͳ
   ڟ
   ѱ
   ͳ
   ΋
   ͷ
   ΋
   ͋
   Γ
   ỏ
   ؾ
   ෇
   ͔
   ͣ
   ʹ
   ࢖
   ỳ
   ͯ
   ͠
   ·
   ͏
   ͱ
   ൵
   ࢂ
   

   View Slide

5. ủ
   ڙ
   ཆ
   Ứ
   ͱ
   ͍
   ͏
   ί
   ϯ
   η
   ϓ
   τ
   u
   ό
   ỽ
   υ
   σ
   ồ
   λ
   ͸
   ୭
   ͔
   Λ
   ۤ
   ͠
   Ί
   Α
   ͏
   ͱ
   ҙ
   ਤ
   ͠
   ͯ
   ࡞
   Β
   Ε
   ͨ
   ༁
   Ͱ
   ͸
   ͋
   Γ
   ·
   ͤ
   Μ
   u
   ࡞
   ੒
   ऀ
   ͸
   ỏ
   ద
   ੾
   ͳ
   σ
   ồ
   λ
   ͕
   Ͳ
   ͷ
   Α
   ͏
   ͳ
   ΋
   ͷ
   ͔
   ஌
   Β
   ͳ
   ͔
   ỳ
   ͨ
   ͷ
   ͔
   ΋
   ͠
   Ε
   ·
   ͤ
   Μ
   u
   ͠
   ͔
   ͠
   ỏ
   ό
   ỽ
   υ
   σ
   ồ
   λ
   ͸
   ೋ
   ౓
   ͱ
   ͜
   ͷ
   ੈ
   Λ
   ኲ
   ኾ
   Θ
   ͳ
   ͍
   Α
   ͏
   ʹ
   ੒
   ෹
   ͞
   ͤ
   Δ
   ඞ
   ཁ
   ͕
   ͋
   Γ
   ·
   ͢
   

   View Slide

6. 9
   ό
   ỽ
   υ
   Φ
   ồ
   ϓ
   ϯ
   σ
   ồ
   λ
   ໰
   ୊
   ୳
   ͤ
   ͳ
   ͍
   ར
   ༻
   ্
   ͷ
   ੍
   ݶ
   ͕
   ͋
   Δ
   ܗ
   ࣜ
   ͕
   ࢖
   ͍
   ͮ
   Β
   ͍
   ͦ
   ͷ
   ଞ
   σ
   ồ
   λ
   ඼
   ࣭
   ্
   ͷ
   ໰
   ୊
   ớ
   ਖ਼
   ֬
   ੑ
   ỏ
   ࠷
   ৽
   ੑ
   ỏ
   ਫ਼
   ౓
   ͳ
   Ͳ
   Ờ
   

   View Slide

7. 10
   ό
   ỽ
   υ
   Φ
   ồ
   ϓ
   ϯ
   σ
   ồ
   λ
   ໰
   ୊
   ୳
   ͤ
   ͳ
   ͍
   ར
   ༻
   ্
   ͷ
   ੍
   ݶ
   ͕
   ͋
   Δ
   ܗ
   ࣜ
   ͕
   ࢖
   ͍
   ͮ
   Β
   ͍
   ͦ
   ͷ
   ଞ
   σ
   ồ
   λ
   ඼
   ࣭
   ্
   ͷ
   ໰
   ୊
   ớ
   ਖ਼
   ֬
   ੑ
   ỏ
   ࠷
   ৽
   ੑ
   ỏ
   ਫ਼
   ౓
   ͳ
   Ͳ
   Ờ
   

   View Slide

8. ΦʔϓϯσʔλΛ୳ͤΔαΠτ
   Data.go.jp
   n೔ຊ੓෎ެࣜΦʔϓϯ
   σʔλΧλϩά
   nӡӦɿ
   ಺ֳ׭๪*5ࣨ
   ˣ
   σδλϧி
   ʢ೥݄ʙʣ
   nఏڙσʔληοτ਺ɿ
   ݅
   ʢݱࡏʣ
   https://www.data.go.jp/
   എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
   

   View Slide

9. ΦʔϓϯσʔλΛ୳ͤΔαΠτ
   Data.go.jpͷམͱ݀͠ᶃ
   63-௚ଧͪ
   ͰΞΫηε
   ͢Δࡍɺઌ
   ಄ʹ lXXXz
   Λ͚ͭͳ͍
   ͱΞΫηε
   Ͱ͖ͳ͍
   12
   

   View Slide

10. ΦʔϓϯσʔλΛ୳ͤΔαΠτ
    Data.go.jpͷམͱ݀͠ᶄ
    ϑΥʔϚοτ͕
    දه༳Ε͍ͯ͠Δ
    ͨ·ʹؒҧ͍ͬͯΔ
    13
    

    View Slide

11. ΦʔϓϯσʔλΛ୳ͤΔαΠτ
    ֤ػؔͷσʔλΧλϩάαΠτ
    3&4"4ʢ஍Ҭܦࡁ෼ੳγε
    ςϜʣ
    IUUQTSFTBTHPKQ
    n ӡӦɿ಺ֳ׭๪ɾܦ࢈ল
    14
    ౦ژ౎ΦʔϓϯσʔλΧλϩ
    άαΠτ
    IUUQTXXXNFUSPUPLZPM
    HKQ
    nӡӦɿ౦ژ౎
    େࡕࢢΦʔϓϯσʔλϙʔλ
    ϧαΠτ
    IUUQTEBUBDJUZPTBLBMHK
    Q
    nӡӦɿେࡕࢢ
    എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
    

    View Slide

12. ΦʔϓϯσʔλΛ୳ͤΔαΠτ
    ࢄΒ͹Γա͗
    ݱঢ়ɺ࢖͍͍ͨσʔλ͕ಛఆͰ͖͍ͯͳ͍ݶΓ
    άάͬͨํ͕ૣ͍
    
    

    View Slide

13. ΦʔϓϯσʔλΛ୳ͤΔαΠτ
    F4UBU
    nࠃ಺ͷ౷ܭσʔλͷ
    ϙʔλϧαΠτ
    nӡӦɿ૯຿ল౷ܭہɺ
    ಠཱߦ੓๏ਓ౷ܭηϯ
    λʔ
    nఏڙσʔληοτ਺ɿ
    ݅
    ʢݱࡏʣ
    https://www.e-stat.go.jp/
    എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
    

    View Slide

14. ΦʔϓϯσʔλΛ୳ͤΔαΠτ
    F4UBUͷམͱ݀͠ᶃ
    Ωʔϫʔυݕࡧ
    ͢ΔͱɺσϑΥ
    ϧτͰউखʹ
    ʮ੓෎౷ܭʯʹ
    ߜΓࠐ·ΕΔ
    ˠʮσʔληο
    τʯʹ੾Γସ͑
    Δඞཁ͕͋Δ
    
    

    View Slide

15. ΦʔϓϯσʔλΛ୳ͤΔαΠτ
    F4UBUͷམͱ݀͠ᶄ
    σʔληοτʹ୧Γண͘લͷ෼ذͰ໎͏
    ɾσʔλϕʔε
    ɾϑΝΠϧ
    
    

    View Slide

16. F4UBUͷϑΝΠϧͱσʔλϕʔεͷҧ͍
    σʔλϕʔε
    n機械判読性の⾼いcsv形式のデータ
    を取得することができる（タテ持ち
    形式でのダウンロードも可能）
    nAPIでも取得可能
    n調査によって⼀部のデータしかデー
    タベース化されていない
    n結果公表から提供されるまでにタイ
    ムラグがある
    ϑΝΠϧ
    n統計表を単体で取得することができ
    る
    nAPIでの取得対象外
    n帳票形式のデータになっていてデー
    タクレンジングが必要な場合が多い
    n提供されるタイミングが早い
    എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
    

    View Slide

17. ·ͣ͸'JOEBCJMJUZʢ୳ͤΔʣͷ֬อΛ
    nσʔλ͸·ͣݟ͚ͭΒΕͳ͚Ε͹Կ΋ਐ·ͳ͍
    nσʔλఏڙͷݪଇʮ'"*3ݪଇʯʹ͓͍ͯ΋·ͣ'JOEBCJMJUZͷ֬อ͕ඞཁ
    ͱ͞Ε͍ͯΔ
    nϝλσʔλ͕੔උ͞Ε͍ͯͳ͍ͱ'JOEBCMFʹͳΒͳ͍
    എܠը૾ɿ௚୩Ҵՙਆࣾؠӄʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEDDDFCCCFEGBDC
    

    View Slide

18. ʮϝλσʔλʯͷ੔උ͸σʔλ؅ཧͷجຊ
    nϝλσʔλͱ͸ɺσʔλͷλΠτϧɺઆ໌ɺ࡞੒೔ɺ࡞੒ऀ౳ɺ
    σʔλͷ؅ཧ৘ใΛॴఆͷܗࣜͰ·ͱΊͨ΋ͷ
    nʮσʔλʹؔ͢ΔσʔλʯΛҙຯ͢Δ
    nΠϝʔδͱͯ͠͸ʮσʔλͷ؅ཧ୆ாʯ
    λΠτϧ આ໌ ॴ؅՝ ࠷ऴߋ৽೔ ϑΝΠϧͷ৔ॴ ʜ
    ެڞࢪઃҰཡ ެڞࢪઃͷҰཡɻҢ౓ܦ౓෇͖ɻࢪઃ؅ཧ՝ ʜʜʜ
    ;Δ͞ͱೲ੫ฦྱ඼Ұཡ ;Δ͞ͱೲ੫ͷฦྱ඼ͷҰཡɻ ޿ใ՝ ʜʜʜ
    ৽ܕίϩφཅੑऀଐੑ ৽ܕίϩφཅੑऀͷҰཡɻ อ݈෱ࢱ՝ ʜʜʜ
    

    View Slide

19. &6ʹ͓͚Δϝλσʔλඪ४ͷ౷ҰʹΑΔ
    σʔλͷҰݩతఏڙ
    n&6Ͱ͸ϝλσʔλ
    ඪ४͕ͷར༻͕ਪ
    ঑͞Ε͍ͯΔ
    nϝλσʔλ࿈ܞʹ
    ΑΓɺ࣏ࣗମϨϕ
    ϧͷσʔλϙʔλ
    ϧ͔ΒɺࠃϨϕϧ
    ͷϙʔλϧɺ&6ͷ
    ϙʔλϧ΁σʔλ
    ͕ू໿͞ΕΔ
    nྫʣΞΠϧϥϯυ
    2020/10/23 22
    

    View Slide

20. %BUBHPKQͱ +BQBO4FBSDIͷϝλσʔλ࿈ܞ
    • %BUBHPKQͰ͸ࠃࡍඪ४ͷ%$"5ʹ४ڌͨ͠ܗͰϝλσʔλ͕ެ։͞Ε͍ͯΔ
    • ͜ΕʹΑͬͯ֎෦ͷσʔλݕࡧαʔϏεͱͷ࿈ܞ͕༰қʹͳΓɺ
    +"1"/4&"3$)ʢӡӦɿࠃཱࠃձਤॻؗʣ͔Β΋%BUBHPKQͷσʔλ͕ݕࡧՄೳʹ
    23
    例）「⽂部科学⽩書」
    でキーワード検索
    

    View Slide

21. ࠃͷ౷ܭσʔλ΋ϝλσʔλ੔උʹ஫ྗ
    n౷ܭہɿ౷ܭσʔλͷ੔උʹ܎Δجຊํ਑ʢྩ࿨೥݄೔ʣ
    24
    https://www.stat.go.jp/info/guide/public/kyogikai/kyougi.html
    

    View Slide

22. ό
    ỽ
    υ
    σ
    ồ
    λ
    ͷ
    Ҽ
    Ռ
    Λ
    ḷ
    Δ
    ͱ
    ݩ
    ڟ
    ͸
    Ψ
    ό
    φ
    ϯ
    ε
    u
    ૊
    ৫
    த
    Ͱ
    ͸
    ม
    ͑
    Β
    Ε
    ͳ
    ͍
    ͜
    ͱ
    ΋
    ଟ
    ͍
    u
    ֎
    ෦
    ͔
    Β
    ͷ
    ϑ
    ỹ
    ồ
    υ
    ό
    ỽ
    Ϋ
    ͕
    վ
    ળ
    ͷ
    ν
    Ỿ
    ϯ
    ε
    u
    ͨ
    ͩ
    ͠
    ૬
    ख
    ΋
    ਓ
    ؒ
    ỏ
    Ϧ
    ε
    ϖ
    Ϋ
    τ
    Λ
    ࣋
    ỳ
    ͯ
    ٬
    ؍
    త
    ʹ
    ࢦ
    ఠ
    Λ
    

    View Slide

23. ό
    ỽ
    υ
    Φ
    ồ
    ϓ
    ϯ
    σ
    ồ
    λ
    ڙ
    ཆ
    ࣉ
    Ұ
    ỏ
    ͜
    ͷ
    ੈ
    ͷ
    ແ
    ؒ
    ஍
    ࠈ
    ͸
    Φ
    ồ
    ϓ
    ϯ
    σ
    ồ
    λ
    ׆
    ༻
    ·
    Ͱ
    ͷ
    ಓ
    ͷ
    Γ
    ʹ
    ࡏ
    Γ
    ߴ
    ໦
    ༞
    հ
    ࢯ
    ớ
    ג
    ࣜ
    ձ
    ࣾ
    ࣗ
    ಈ
    ॲ
    ཧ
    Ờ
    ೋ
    ỏ
    ফ
    ͑
    ͨ
    ઀
    छ
    ه
    ࿥
    ͷ
    ո
    େ
    ࢁ
    ਫ
    ൕ
    ࢯ
    ớ
    ށ
    ా
    ࢢ
    ا
    ը
    ࡒ
    ੓
    ෦
    ࣍
    ௕
    ݉
    σ
    δ
    λ
    ϧ
    ઓ
    ུ
    ࣨ
    ௕
    Ờ
    ࡾ
    ỏ
    ೶
    ஍
    σ
    ồ
    λ
    ׆
    ༻
    ·
    Ͱ
    ͷ
    ؾ
    ͕
    ԕ
    ͘
    ͳ
    Δ
    Α
    ͏
    ͳ
    ಓ
    ఔ
    ޲
    ߐ
    ୓
    ࿠
    ࢯ
    ớ
    ೶
    ྛ
    ਫ
    ࢈
    ল
    Ờ
    

    View Slide

24. ༧
    ࠂ
    ⽅
    ৽
    ݄
    ͷ
    ໷
    ͸
    σ
    ồ
    λ
    ڙ
    ཆ
    ձ
    ೔
    ࣌
    ୈ
    Ұ
    ໷
    ⽅
    े
    ݄
    ࿡
    ೔
    ớ
    ਫ
    Ờ
    ೋ
    ࡾ
    ࣌
    ࡾ
    े
    ෼
    Ỗ
    ೋ
    ࢛
    ࣌
    ࡾ
    े
    ෼
    Ҏ
    ߱
    ỏ
    ຖ
    ݄
    ৽
    ݄
    ͷ
    ໷
    ʹ
    ։
    ࠵
    ༧
    ఆ
    ট
    ଴
    ऀ
    ୈ
    Ұ
    ໷
    ⽅
    ߴ
    ໦
    ༞
    հ
    ࢯ
    ớ
    ג
    ࣜ
    ձ
    ࣾ
    ࣗ
    ಈ
    ॲ
    ཧ
    Ờ
    

    View Slide

25. Α
    Γ
    ྑ
    ͍
    Φ
    ồ
    ϓ
    ϯ
    σ
    ồ
    λ
    Λ
    Έ
    Μ
    ͳ
    Ͱ
    ࡞
    ỳ
    ͯ
    ߦ
    ͖
    ·
    ͠
    Ỷ
    ͏
    Ố
    ޱϊཬ೦෹ߨʢࠤੈอࢢʣ $$#: IUUQTPEDTCPEJLKQJNBHF JEFGEDBFDFCBF
    

    View Slide