01_Code for Japan Summit2021 この世の無限地獄はオープンデータ活用への道のりにあり

Code for Japan Summit2021にて、『この世の無限地獄はオープンデータ活用への道のりにあり』と題して、データ活用までの困難さをプレゼンさせて頂きました。

Day2 Track3 BADオープンデータ供養寺
https://youtu.be/Fttg4YnA4g8?t=723

延長戦として2021年10月06日に『01_新月の夜はデータ供養会〜第一夜〜』では延長戦として、もっと詳しく1時間かけてデータの供養の困難さを説明しています。よろしければそちらもご覧ください。

新月の夜はデータ供養会 第一夜
https://youtu.be/sRgSoJPVJDY

SpeakerDeck URL
https://speakerdeck.com/yuutakasan/01-xin-yue-falseye-hadetagong-yang-hui-di-ye

Transcript

1. この世の無限地獄はオープン データ活用への道のりにあり バッドオープンデータデータ供養寺 株式会社自動処理 株式会社ミーカンパニー CDO コードフォージャパン フェロー 高木 祐介
2. 自己紹介 高木祐介 意見募集プラットフォームである デジタル改革アイデアボックス開発元の 株式会社自動処理 代表取締役 病院薬局介護施設など医療系の オープンデータを取引先マスタデータに 仕立て直して販売する狂気の会社 ミーカンパニー CDO
3. 昨年の復活からの今年も 参加になりました。 4年連続参加になりました ※2回目の参加の様子です
4. 少しだけ告知をさせて下さい。 現在、デジタル庁さん、三重県さ ん、高松市さんに、 意見募集プラットフォームである アイデアボックスを使っていただ いています。 告知！ ※デジタル改革アイデアボックス(内閣官房) https://ideabox.cio.go.jp/ ※たかまつアイデアFACTORY(高松市) https://ideabox.smartcity-takamatsu.jp/ ※みえDXアイデアボックス(三重県) https://idea-mie.jp/
5. アイデアボックス2.0開発 推進中！ 年度末まで無償でベータ版 を使ってもらえる団体さん を10団体程度募集してま す。 Slackやメールで連絡くだ さい。 ※アイデアボックス https://ideabox.automation.jp/
6. 気を取り直して本題に
7. みなさん供養してますか？
8. 私はオープンデータを供養 する事を仕事にしています ＝地獄
9. 今日はそんな供養業務の中で、 法人情報に対して 法人番号を付与する業務 を行っている時の話をします。
10. 法人番号付与とは？ 医療法人和三会 北海道石狩市厚田区厚田30 7430005012395 法人番号公表サイトを調査 お客様データ
11. 作業開始前の話
12. 2021年X月XX日(金)16時翌日 から休みのタイミングでそれ は起こった。。。
13. 営業『大変です。2万件のお客さんデータ に対して、法人番号付与の緊急依頼 が！』 僕『ふーん、いつも通り納期1〜2週間で 受けておけばいいよ。』 営業『なんかお客さんが怒ってまして、 今すぐ作業しろと聞かないんです。』 僕『え？なんで怒ってるの？』
14. 営業 『わかりません！』
15. 地獄ポイントその１ 基本的にマスタデータの整備は システム開発プロジェクトの中に入っておらず、 開発終盤で気づき、緊急発注になることがある。 データ分析用の前処理にもみんな時間がかかる とは思っていない。 その為、お客さんに余裕がないケースも多いの だ。
16. 営業『先方のプロジェクトに期限があるらし くて、とにかくやってくれという一点張りな んです。』 僕『まじかー。じゃあ、やるかー。』
17. 僕『とりあえずデータください。』 営業『これです。どうぞ』
18. 僕『！？・・・ これはすごい。』
19. 地獄ポイントその２ データが使いやすいかどうかは、受 け取ってみるまでわからない。 地獄の窯の蓋が空く音がしてきます ね。。。
20. 作業開始
21. データ利活用までのフローをおさらい 収集 形式変換 クレンジング 利用
22. データ利活用までのフローをおさらい 収集 形式変換 クレンジング 利用
23. • 法人データ • 法人番号ポータルから情報をダウンロード • 月次データはCSV、ほぼリアルタイムデータ や詳細な履歴データはAPI ▪ API処理の事前準備としてAPIキーの申 請、発行
24. • CSVデータ • 一括ダウンロード 愚痴 その１ 可能なら、資料を見ないでいいように、 項目名を追加して欲しい データ
25. • APIデータ • 1件づつリクエスト メタ情報 データ 愚痴 その２ 出来れば メタ情報とデータは分けてほしい。 愚痴 その３ 可能なら、資料を見ないでいいよう に、項目名を追加して欲しい
26. 地獄ポイントその３ データカタログが整備されており、シンプ ルなデータ形式にまとまっていれば収集は 簡単。 情報がどこにあるかわからない事も多い。 事前申請しないと情報が収集できない場合 があるし、場合によっては紙しかスキャン させてもらえない時もある。 API形式の場合は使いやすくて柔軟だが、開 発が発生する可能性を考慮すること。 ※今回の場合、法人番号データ分、600万回 APIを実行して最新化しました。
27. • お客様データ • 3部署からのお客様データを受領
28. • 部署Aからのデータ(Excel) • 部署Bからのデータ(Excel) • 部署Cからのデータ(Excel) データ形式については、全てExcelな為、特に問 題なし。更新日時は統一されていない。
29. 地獄ポイントその４ データ管理がしっかりとしている組織からの 情報収集は簡単。 世の中に存在するデータのほぼ全ては、入力 時点の部分更新データ。いつ時点データなん てものは利用先には存在しない。
30. データ利活用までのフローをおさらい 収集 形式変換 クレンジング 利用
31. • 法人データ • 収集された法人のCSVデータを取り込む • 収集された法人のAPIデータを取り込む • APIにあれば更新、なければCSVをそのまま取り 込む形でインポート
32. データベースサーバーに取り込み
33. 地獄ポイントその５ 機械可読性があれば、プログラムを 作れれば変換は簡単。 プログラムが作れないと、予算発生 により地獄に変わる可能性もある。
34. • お客様データ • Excelデータを統一的な利活用フォーマット に変換（マッピング）。 • データベースにインポート
35. データベースサーバーに取り込み
36. 地獄ポイントその６ 読み取りがしやすいフォーマットで最初 からもらう事が出来れば、インポートは 簡単。 様式がバラバラでデータ項目に差がある 場合にはマッピングが大変なことも。 全く違うフォーマットであり情報から項 目名が推測できない場合は、問い合わせ が発生するが、項目の意味を担当が分か っていない場合、少し大変になるかも。
37. データ利活用までのフローをおさらい 収集 形式変換 クレンジング 利用
38. • 法人データ・お客様データ • データ変換が終わると、データクレンジング工程に 入る。
39. 改めてデータ一つ一つを見てみまし ょう。
40. 複数組織から情報を集めると重複しがち。 運用ルールも違う事が多い。データ管理 が甘いと単一組織でも重複する事がある。
41. 不要な文字列の混入
42. 住所がない
43. 電話番号の形式が不統一
44. • 他にもありますが、こういった形でデータに エラーがあった場合には、正常なデータに変 換しないといけません。 • データによって変換が必要になるので、この 後、クレンジングケースを少し紹介します。
45. 氏名、法人名、事業所名変換 • 姓、名分割名前形式を、名前１項目に統合 • 田中 太郎 → 田中太郎 • 一部の省略ケース • 株）自動処理 → 株式会社自動処理 自動変換可能パターン例 • 正しい漢字が分からない。 • 高木祐介という名前について、髙木祐介が正しかったとしても自動変換は出 来ない。 • 姓名分割の分割場所がわからない。 • 田中太郎 →田中 太郎 （田中 苗字ランキング 4位） • 田中太郎 →田 中太郎 （田 苗字ランキング 8,074位） • 複数パターンある省略 • 医） →医療法人、医療法人社団、医療法人財団のどれか • 山大 →山口大学か山形大学のどちらか 自動変換困難パターン例
46. 電話番号変換 •形式変換 •03-3543-021 •033543021 •(03)3543-021 •033543021 •国際番号変換 •+81-3-3543-021 •+81(3)3543-021 自動変換可能パターン例 •市外局番が欠落 • 35430211 (Excelなどで先頭の0の文字が欠けがちです) •不正な文字が混入 •084－926－0139 日曜日・祝日は担当者携帯電話 •複数電話番号が混入 •0974-75-2124、もしくは、0974-42-2270 自動変換困難パターン例
47. 住所変換 • 住所形式違い • 東京都豊島区東池袋３丁目１番１号サンシャイン６０・４３階・２０号 • 東京都豊島区東池袋３丁目１番１号サンシャイン６０ 4320号 • 東京都豊島区東池袋３-１-１ サンシャイン６０ 4320号 • 東京都豊島区東池袋サンシャイン６０（４３階）20号 • 東京都豊島区東池袋サンシャイン６０ F４３ 20号 • 異体字変換 • 宮城県塩釜市字杉ノ入裏39-176 • 宮城県塩竃市字杉ノ入裏39-176 • 宮城県塩竈市杉ノ入裏39-176 • 緯度系譜度付与 • 住所から郵便番号（90%前後)付与 • 住所から緯度経度（70%前後)付与 • 名称変更・市区町村合併の対応 自動変換可能パターン例
48. 住所変換 •一丁目の一がハイフンになっている •東京都中央区築地一丁目1番1号 •複数の書き方がある文字列 •兵庫県加古川市上荘町井ノロ３９０ー２ •兵庫県加古川市上荘町井野ロ３９０ー２ •兵庫県加古川市上荘町井乃ロ３９０ー２ •法人登記に存在する平成以前の旧住所 •東京市小石川区久堅町９１番地（東京市小石川区は現在の東京都文京区） •別の文字が利用されている •兵庫県加古川市上荘町井ノロ３９０ー２（ロの文字がカタカナ） •北海道北見市留辺蕊町旭公園95-4（蕊の文字が書き間違いで本来は蘂） •茨城県つくば市白井2090-20 （白の文字が書き間違いで本来は臼） •文字が欠けている •南区御幸笛田７丁目13-21（熊本県熊本市が欠けている） •静岡県浜松市浜北区貴布1200（貴布祢の祢が欠けている） •不正な文字が入力されている •〒305-0005 茨城県00000つくば市天久保２-1-1 （郵便番号や意味のない数字が含まれている） 自動変換困難パターン例
49. 対応困難ケース 対応が困難なケース-表記ゆれが存在する
50. 対応困難ケース 対応が困難なケース-誤った項目に情報が公開されている
51. 対応困難ケース 対応が困難なケース-誤った項目に情報が公開されている IMSグループ グループ名 医療法人社団明芳会 法人名 イムス板橋リハビリテーション病院 事業所名 訪問リハビリテーション事業所 サービス名業 マルマツ薬局 九段 店 事業所名 店舗名 参考）店舗名がないケースが混在している
52. 対応困難ケース 対応が困難なケース-１つの項目に複数の同じ意味のデータが格納されてい る
53. 対応困難ケース 徳島県小松島市坂野町 字 橿 延50番地 対応が困難なケース-外字、情報が欠けている 橿 延神社 縮退先のない外字 途中までしか住所が格納されていない
54. 対応困難ケース 対応が困難なケース-誤った情報が含まれている 日本赤十字社の代表として公開されてい る 代表者名 8パターン 近藤忠煇 ← 誤字 近藤忠輝 ← 誤字 近衛忠 ← 誤字・文字欠け 近衛忠煇 ← 誤字 近衛忠輝 ← 誤字 近衞忠 ← 文字欠け 近衞忠煇 ← 正解 近衞忠輝 ← 誤字
55. 対応困難ケース 対応が困難なケース-名寄せをする為のID（番号）を判別する情報が存在しない 名称・住所がほぼ同じで別法人番号 建物ありなしで別法人番号 法人名の大文字小文字違いで別法人番号 名称・住所が同一で別法人番号
56. 対応困難ケース 対応が困難なケース-その他 データの意味を表す表側 が 空白のレコードが存在 する。 同上や〃などを利用して 別セルを指示する繰り返し文字がある 土地区画整理事業内など住所が未確定な場合がある 項目に対応しない文字列が格納されている。 その他 メタデータ ・データの主幹の記載がない為、どこに問い合わせしていいかわか らない。 ライセンス ・ライセンスの記述がない為、どこまで自由に使っていいのかわか らない。 あり・なしで回答されている ・ホームページURLを記入する個所に『あり』と記載されている
57. 地獄ポイントその∞ 入力時点で標準化されていないデー タを後から直すのは大変なので、最 初に標準化して、入力時点チェック をしましょう。 クレンジングは抽象化して整理しず らい為、あまり資料化されたものは 見たことはありませんが、クレンジ ングこそ本当の地獄です。
58. データ利活用までのフローをおさらい 収集 形式変換 クレンジング 利用
59. ここまできてようやく利用になります。 • そう我々の戦いはまだ始まってもいな かったのです。 • データ利活用の道はまだまだ遠い。 • バッドデータを供養するのはかなり大 変です。最初からグッドデータで作り ましょう。。。
60. ご清聴ありがとうございました。 アイデアボックスに関する問い合わせは info@automation.jp まで