01_新月の夜はデータ供養会〜第一夜〜

Slide 1

Slide 1 text

この世の無限地獄はオープンデータ活用への道のりにあり -サミット2021延長戦新月の夜はデータ供養会〜第一夜〜株式会社自動処理株式会社ミーカンパニー CDO コードフォージャパンフェロー高木祐介

Slide 67

Slide 67 text

mecompany Inc. 67 1.基礎データ正規化 • 全角半角 • 不要な空白削除 • 異字体・同意体変換 • JIS第3、第4水準変換 • Unicode IVS対応 • フォーマットの統一 • 不要データの削除 2.法人情報正規化 • 法人番号付与 • 法人格抜き出し • 法人名称統一 • 名称変更法人確認 • 移転法人確認 • 閉鎖法人確認 • 事業所、法人名称分割 • 事業所カナ補完 • 法人名カナ補完 3.住所正規化 • 郵便番号付与 • 新旧郵便番号変換 • 新旧住所変換・表記統一 • 住所分割・補完 • 住所カナ補完 • 住所逆引き検索 4.電話番号正規化 • 市外局番付与 • 電話番号形式統一 • 架電確認 • 電話番号逆引き検索 5.HP・メール・ドメイン正規化 • HPアドレス形式統一 • メール形式統一 • ドメイン形式統一 • HP存在確認 • メール存在確認 • ドメイン存在確認 6.緯度経度正規化 • 測地系変換 • 緯度経度補完 9.信頼性確認 • 住所・地番辞書による確認 • 建物辞書による確認 • 郵便番号辞書による確認 • 電話番号辞書による確認 • 姓名辞書による確認 • 法人辞書による確認 • 独自データ辞書により信頼性確認・補完 7.姓名正規化 • 姓名分割 • 姓名カナ補完 10.重複判定 • 判定ロジックに基づいた重複判定確認 • 名寄せコード発行処理 11.Mysql機能拡張 • カンマ区切りデータ抽出 • 文字列比較処理 • HTTPリクエスト • チェックデジット計算確認処理(Damm) • ログ出力 • 正規表現検索(onigumo) • 正規表現置換(onigumo) • jsonパース処理(jq) 8.施設名称正規化 • 店舗名称分離 • サービス名称分離こんな処理を実装してよりクレンジングが楽になるように開発を進めています。 12.AI支援機能 • 機械学習(訓練) • 機械学習(評価) • 機械学習(実行)

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text