romajip: 日本の住所CSVデータを活用した英語住所変換ライブラリを作った話

https://jsconf.jp/2024/talk/kang-sangun/

Transcript

1. romajip 📮 日本の住所データを活用した英語住所変換ライブラリを作った話 2024-11-23 / JSConfJP / Sangun Kang
2. 姜 相雲(カン サンウン) / 韓国 日本6年目 / GMOペパボ
3. もくじ • 「romajip」ってなに？ • 巨大な住所の世界へ ◦ こだわり ◦ 苦労した部分 • 今後やること
4. 「romajip」ってなに？ 普段の英語住所を検索する方法
5. 「romajip」ってなに？ https://romajip-demo.vercel.app/ 郵便番号を使わず、 「日本語住所」を「英語住所」に変換するライブラリ
6. • WHOISで必要な英語住所情報入力 を簡単にしたい • リポジトリだけ作って1年放置 • お盆休みで作った ムームードメイン 「romajip」ってなに？
7. 巨大な住所の世界へ
8. 都道府県: 43 市区町村: 1,714 町名: めっちゃ多い romajiでは小字は除外 巨大な住所の世界へ
9. 巨大な住所の世界へ 　 　 　 日本の住所マスタは郵便局とデジタル庁がCSVで提供 郵便番号ベースの郵便局 もっと具体的な住所を集めたデジタル庁
10. 巨大な住所の世界へ 一般的には郵便局の住所を利用
11. 巨大な住所の世界へ 　 　 「romajip」はデジタル庁のデータを利用 目的は「日本語」住所を「英語」に変換
12. こだわり
13. 巨大な住所の世界へ - こだわり 男は数字に 頼らない 郵便番号を使わないと決心 → 郵便番号使った方が圧倒的に楽 → 「日本語」を使うパタンがない → データセットの設計、処理に苦労 設定Zero,すぐ使えるOSSを目指す → デカいCSVを必要な情報だけ最適化して ライブラリのバンドルに含める その結果。。
14. 巨大な住所の世界へ - こだわり ユーティル系ライブラリとして許せないサイズ
15. 苦労した部分
16. • 標準化されてそうで そうでもない各自の住所 • 日本橋と日本橋 • 志布志市志布志町志布志 • 兵庫県南あわじ市市市 巨大な住所の世界へ - 苦労した部分
17. 巨大な住所の世界へ - 苦労した部分 • 初期は行政区画の基準にデータ セットを生成 • 日本語住所もそれを基準にSplit • 探せないケース多い • 地域によって少し違う
18. 巨大な住所の世界へ - 苦労した部分 • 初期のデータセットを捨てる • 各地域の関係性を単純に 上位Treeと下位Treeに変更 • split -> Longest Match
19. 事前に用意されたデータセットを基準に 日本語住所を「longest match」し、下 位Nodeが無くなるまで繰り返す 住所のデータセットは 日本語 : 英語 形 式のオブジェクトになる 「Longest Match」とは？ 入力文字列の先頭から、一番長く一致する部分を探す手法 例えば「福岡県福岡市中央区」の場合： 1. 最上位Nodeでは「福岡県」が一致する -> 「Fukuoka-ken」を返す 2. 下位Nodeでは「福岡市」が一致する -> 「Fukuoka-shi」を返す 3. 下位Nodeでは「中央区」が一致する -> 「chuo-ku」を返す これにより、市市(イチシ）のように行政区画名が入る地名も安全に検索ができる 巨大な住所の世界へ - 苦労した部分
20. 巨大な住所の世界へ - 苦労した部分 デジタル庁の でマスタデータは150MB
21. • 必要情報だけ抽出 • 小字を消す ◦ 字は住所体系から廃止 • 「町、村」など接尾辞を略語にする ◦ 処理で担保 ◦ 塵を集めて大山を作る(5MB程度） 巨大な住所の世界へ - 苦労した部分
22. 今後やること • バンドルサイズを縮小 ◦ データセットが4MB ◦ ビルドのやり方を改善 • 郡、市から検索できるように ◦ 都道府県は省略するケースが多い • いろんな読み方に対応
23. 📮ありがとうございました 📮 github.com/Sangun-Kang/romajip x.com/ksu_302