私が出会ったBAD オープンデータ～バッドオープンデータ供養寺

Code for Japan Summit2018にて、『私が出会ったBAD オープンデータ』と題して、Excelを利用してオープンデータを収集する際に、気を付けるべき点について、発表してきました。

https://summit2018.code4japan.org/session/210/

Transcript

1. 私が出会ったBAD オープンデータ -バッドオープンデータ供養寺
2. 自己紹介 所属 株式会社自動処理 代表 元コードフォージャパン 副理事長 ※3年前 ミーカンパニー株式会社 CDO 2
3. 自己紹介 所属 株式会社自動処理 代表 元コードフォージャパン 副理事長 ※3年前 ミーカンパニー株式会社 CDO 3 ここの話
4. 4 130億項目の医療デ ータを月次で、継続更 新、メンテナンスしてい ます。
5. 5 公的機関 厚生労働省 都道府県 （市区町村・保健所等） （市区町村・保健所等） 情報収集 予約システム会社 医療系人材紹介会社 医療機器メーカー 医療機関 調剤薬局 介護事業所 SCUEL Projectパートナー 電話健康相談サービス 一般利用者 患者団体 医療・調剤・介護サービサー ・・等 検索プロバイダ 調査 入力 入力 入力 SCUEL Projectパートナー データ活用 指摘 病院の HP SCUEL DB 元データは全てオープンデータ
6. 6 公的機関 厚生労働省 都道府県 （市区町村・保健所等） （市区町村・保健所等） 情報収集 予約システム会社 医療系人材紹介会社 医療機器メーカー 医療機関 調剤薬局 介護事業所 SCUEL Projectパートナー 電話健康相談サービス 一般利用者 患者団体 医療・調剤・介護サービサー ・・等 検索プロバイダ 調査 入力 入力 入力 SCUEL Projectパートナー データ活用 指摘 病院の HP SCUEL DB オープンデータを取りまとめ、ク レンジングして、使いやすいデー タセットにして販売しています。
7. 自己紹介 所属 株式会社自動処理 代表 元コードフォージャパン 副理事長 ※3年前 ミーカンパニー株式会社 CDO 7 ここの話
8. Where does my money goの1号目 の横浜版の開発を手掛ける
9. 9 事業仕分けの行政事業レビューシートから財政データ収集可能データを収集してみよう！
10. 10 事業仕分けの行政事業レビューシートから財政データ収集可能データを収集してみよう！
11. ここで一言 ここで発表する内容は、特定の団 体・部署・人物を批判、否定する意 図はありません。 一緒に解決する事で、素敵なオープ ンデータを作っていきましょう。 11
12. 何が辛かったのか？ その１ ▪マーク 12 辛いポイント • “紙でもないのに”チェックをつけ させている。 □直接実施 ▪業務委託等 □補助 □貸付 □その他 単純テキスト化
13. プルダウンで選択させましょう 13
14. 何が辛かったのか？ その２ 複数項目格納 14 • 1つのセルに複数のデータが格納 されている。 単純テキスト化 平成16年度・平成26年度
15. セルを分割しましょう 15
16. 何が辛かったのか？ その３ テキスト入り数字カラム 16 252,432 (20～23年度の計) 単純テキスト化 • 数字、数字、数字、数字＋テキスト ＝ 集計・計算できない
17. 日本語入力をオフにて、数字以外入力させてない ようにしましょう。 17 クリック セルをクリック
18. 何が辛かったのか？ その５ 斜め罫線 18 単純テキスト化 • 罫線情報はセルに何も格納されない。
19. 何か無効を表す文字を入れましょう 19
20. 何が辛かったのか？ その６ 非表示カラム 20 • 非表示列、非表示行はデータ抽出プロ グラムから見れば、表示列、表示行と 全く一緒。
21. 別のシートに分けましょう 21
22. 何が辛かったのか？ その７ 横書きテキスト 22 • 横書きテキストはセル番地がない ので、抽出できない。
23. 備考を追加して、コメントをかけるようにしまし ょう。 23
24. 何が辛かったのか？ その８ セル連結ありなし 24 • セルを結合したり、しなかったり フォーマットはバラバラ。セル番 地が固定されない。
25. セル番地の意味がずれる為、セルの結合・分割は シートの保護で禁止しましょう。 25 ワークシートを右クリック
26. 何が辛かったのか？ その８ 描画オブジェクト 26 • 描画オブジェクトの中身はセル番 地がない。
27. 何が何でもセル番号が固定されるようにテンプレ ートを作りましょう。 27
28. というわけで • 1セルに1バリュー • 行、列の追加は禁止 • 日本語入力オフ、プルダウンなどで 入力制限 • 集計するならSUM等計算式を使う • 背景ではなく『-』で • 図形を使わない • 描画オブジェクトを使わない 28
29. 29 と、ここまで行政事業レビュー シートのデータを集約するのが 大変だという話をし続けてきま したが、実はもうそんなことを する必要はありません。
30. 30 https://www.gyoukaku.go.jp/review/database/ 一括ダウンロード可能！
31. 31 1つのデータセットでダウンロー ド出来るようになっています。
33. 33 グループ化解除すると 13,983列のCSV
34. 34 グループ化解除すると 13,983列のCSV こ こ か ら が ほ ん と う の 地 獄 だ ・ ・ ・