$30 off During Our Annual Pro Sale. View Details »

高精度名寄せシステムを支える テキスト処理 (の、ほんのさわり)

dproject21
November 14, 2017

高精度名寄せシステムを支える テキスト処理 (の、ほんのさわり)

2017.11.14 開催 golang.tokyo #10にてLT発表
Golangを用いたテキスト処理を行う際に気をつける部分、ライブラリの選定方針、テキスト処理のための基礎的なfunctionの作成について紹介しました。

dproject21

November 14, 2017
Tweet

More Decks by dproject21

Other Decks in Programming

Transcript

  1. あんただれよ? • ⽥野⼝ ⼤樹 (たのっち @dproject21) • ミーカンパニー株式会社所属 • Java

    + Agileな新宿⻄⼝のSIer → 某Webサービス企業 → 現職 • ⽣息域 • Akiba.go • アジャイル界隈 (Agile Japan 2015 公認レポーター) • ソフトウェアテスト界隈(WACATE、アジャイルテスト読書会) • 同⼈技術書界隈(DevLOVE Pub) • クリティカル・シンキング界隈(TOCfE Bootcamp) • Go⾔語歴 5ヶ⽉ • .NET → Java → Go
  2. お仕事の内容 • ミーカンパニー株式会社 http://mecompany.me/ • オープンデータの医療機関データを加⼯して作り上げた医療・ 薬局・介護マスタデータ「SCUEL」を販売しています。 • 名寄せのためのデータクレンジングにGoを全⾯採⽤しています。 •

    Goを採⽤したことで、⾼精度の名寄せシステムを、⾼速で動作 させることができています。 • 名寄せシステムで使っている「テキスト処理の考え⽅」の⼀部 を LT という形で紹介します。
  3. 内製functionのテストはどうしてる? • testify / assert でテスト書いています。 • 最初は愚直に testingパッケージの t.Error

    を使っていました。 • エラー時のメッセージを⾃分でつくるのは⼤変 • xUnitに慣れた⾝として、assertは欲しかった。 • テストコードの構成は、永和システムマネジメントさんの「時 を越えたプログラミングの道」を参考にしています。 • https://twop.agile.esm.co.jp/learning-go-lang-by-tdd- 8326723d9362