動画 https://youtu.be/lh8jS6hF0PM?t=459
スライド原本 https://docs.google.com/presentation/d/1CP9U-d3xChsd1YW7MwHGD6h1yAtINJ1OIsd6QPP9xPc/edit#slide=id.g15df21ccfd1_0_298
© 2022 LayerXバクラクのOCRで注目する指標について〜精度の定義は一つじゃない〜株式会社LayerXバクラク事業部 AI-OCRチーム マネージャー高際 隼 @shun_tak2022.9.28 第23回 MLOps勉強会
View Slide
© 2022 LayerX自己紹介高際 隼Shun Takagiwa株式会社LayerX バクラク事業部 AI-OCRチーム マネージャー● サイバーエージェントに2013年に新卒入社し、テックリードとして複数のスマートフォンゲームの新規開発および運用を担当。その傍ら組織運営や新卒採用にも携わる● LayerXには2018年の設立とともに参画し、PMやテックリードとしてブロックチェーン事業に携わる。バクラク事業立ち上げ後はAI-OCRやバクラク請求書/申請の開発に注力。現在AI-OCRチームのマネージャーを担当● 価値観○ 人は必ず成長する (継続は力なり)○ 強みを徹底的に磨く○ なんとかなる（きっとよくなる）● SNS等○ Twitter → @shun_tak (本日の資料もこちらで共有します)○ GitHub → shun-tak
© 2022 LayerX会社紹介すべての経済活動を、デジタル化する。※ 一部抜粋会社名代表取締役創業従業員数資本金事業概要関連会社お取り組み実績株式会社LayerX（レイヤーエックス）代表取締役CEO 福島 良典 代表取締役CTO 松本 勇気2018年 8月1日112名(2022年6月末時点)31億円(資本準備金含)バクラク事業、Fintech事業、PrivacyTech事業三井物産デジタル・アセットマネジメント（三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社）
© 2022 LayerX経営陣紹介取締役 バクラク事業 榎本 悠介DeNA→Gunosyで新規事業立ち上げ/エンジニア代表取締役CTO 松本勇気 取締役 手嶋 浩己取締役CFO渡瀬 浩行Gunosy CTO・CTO協会理事ユナイテッド創業・上場メルカリ投資・(元)取締役Aiming創業・上場代表取締役CEO 福島良典Gunosy創業・上場(元) エンジニア エンジニア 上場企業創業・経営上場企業創業・経営 上場企業創業・経営上場企業創業・経営エンジニア● 上場企業の創業経験・経営経験で固める経験豊富なチーム● 取締役の過半数(60%)がエンジニアバックグラウンドを持つテクノロジーカンパニー● CTOが代表権を持つことで、「技術を軸とした」意思決定も迅速に行える体制監査役 掛川 紗矢香GREE → メルカリで経営管理業務上場企業経営管理この経営陣サポートでうまくいった機械学習チーム立ち上げのエピソード公開してます機械学習チーム立ち上げ前夜とその後の話https://note.com/shuntak/n/nd643fdac4d3d
© 2022 LayerX社員構成約3分の1 約10%
© 2022 LayerXLayerXの事業
© 2022 LayerX
© 2022 LayerX法人支出管理(BSM)SaaS「バクラク」を展開* 経費精算のSlack連携は申請内容の通知のみ稟議・支払申請・経費精算・ワークフロー・AIが領収書を５秒でデータ化・承認はチャットアプリから・シームレスな内部統制構築仕訳・支払処理効率化・AIが請求書を５秒でデータ化・仕訳データを自動学習、 手入力ゼロへ・改正電子帳簿保存法に対応・利用料無料・即時追加発行・最大1億円決済可能法人向けクレジットカード・無料で始められる・手入力ゼロで証憑管理・改正電子帳簿保存法に対応帳票保存・ストレージバクラクでは機械学習がコア技術としてフル活用されています！
© 2022 LayerXAI-OCRチームOCRといいつつ、機械学習を軸にOCRの枠を超え、顧客の体験向上を追求するチームです！ソフトウェアエンジニア2名、機械学習エンジニア4名、アノテーションのスタッフ1名、マネージャー1名の8人でわいわい活動しています！
© 2022 LayerX請求書OCRのデモ
© 2022 LayerX請求書OCRとはOCR (Optical Character Recognition; 光学文字認識)入力画像から文字と位置情報を読み取る。しかし、請求書処理の業務において顧客がほしい情報は「いつまでに・だれに・いくら」支払えばいいのかといった構造化された情報。バクラクが提供する請求書OCRでは、OCRを超える機能を提供している。Document AI や Document Understanding ともよばれる新しい領域。
© 2022 LayerX請求書OCRのアーキテクチャ概要請求書ファイル前処理 文字認識 項目推定入力画像内の「文字」と「位置情報」を読み取る。いわゆるOCR (光学文字認識)読み取った「文字」に意味を与える。例）支払金額：500,000円 支払期日：2021/02/28後処理読み取れた！
© 2022 LayerX評価指標 (品質の評価軸)製品を評価する指標にはどんなものがあるだろうか？● 精度● 実行速度● 可用性● セキュリティ● インフラコスト● 運用のしやすさ● etc今日は 精度 の話！ちなみに速度や可用性、インフラコストの改善については下記参照LayerXインボイスのAI-OCRを支える非同期処理アーキテクチャ / AWS Dev Day Online Japan 2021https://docs.google.com/presentation/d/1-eGkBHpMVGjvOhrDpJfvPHX1AasXtHunAmYJHEJLtaY/edit#slide=id.gebbd5bab07_0_468
© 2022 LayerX精度の評価軸は実質2つ● 何を正解とするか○ 入力データに応じた絶対的な正解○ 顧客が求める正解● 何を比較対象とするか○ 処理パイプラインの各ステップの結果○ 処理パイプラインの最終的な結果請求書ファイル前処理 文字認識 項目推定 後処理読み取れた！→ 評価しやすい→ 顧客体験に直結 (最重視)→ 精度ボトルネック発見に活用→ 評価しやすい
© 2022 LayerX顧客が求める正解とはケース1支払期日として2021年2月28日(日)を検出顧客「実際に振り込む26日(金)に変更しちゃおう。ポチッ」ケース2支払金額として500,000円を検出顧客「源泉税10.21%を差し引いた448,950円に変更せねば。ポチッ」ちなみに、こういった変更がしやすいよう、バクラクでは様々な体験を良くする工夫を実装しています。詳しくはこちら → 読み取り精度100%が不可能と認め、失敗に備えユーザー体験を磨き込む話https://tech.layerx.co.jp/entry/ocr-ux
© 2022 LayerX正解と比較対象の使い分け入力データに応じた絶対的な正解 顧客が求める正解処理パイプラインの各ステップの結果2. 分析・改善しボトルネック潰し N/A処理パイプラインの最終的な結果1. まずはここからスタートしつつ 3. 計測・モニタリングしつつ、 ここの改善を狙っていく正解と結果もうちょい詳しく…正解比較対象
© 2022 LayerX請求書OCRにおける正解？比較対象？正解とは？● 請求書に記載された値● 顧客が最終的に保存した値○ 業務上の理由で変更される■ 2021年2月28日→ 2021年2月26日■ 500,000円→ 448,950円処理パイプラインの各ステップの結果とは？● 文字認識の精度○ 文字単位○ 完全一致● 項目推定の精度○ 項目ごとの精度○ 全項目が正解する精度● 検出位置の精度○ 値は合ってるが異なる位置から検出● 検索・推薦の精度○ マスタデータへの名寄せの精度
© 2022 LayerX項目推定の精度otherotherotherotherpayment_amountpayment_due_dateotherotherotherotherpayment_amountdocument_date6単語中6単語正解 6単語中5単語正解
© 2022 LayerX項目ごとの値の精度正解 検出値支払金額 500,000円 500,000円支払期日 2021年2月28日 2021年2月28日正解 検出値支払金額 500,000円 500,000円支払期日 2021年2月28日 2021年2月20日全項目で正解支払金額は正解、支払期日は不正解
© 2022 LayerX検出位置の精度正解 検出値支払金額 11,000円 11,000円支払期日 2021年4月30日 2021年4月30日全項目で正解← こちらを検出したら、「支払金額」としての 値は正解、位置は不正解
© 2022 LayerX顧客がほしかったもの● 精度を上げたい → エラー分析して改善していく● 分析していくと、請求書とは異なる値を設定するユーザーがちらほら○ 顧客がほしいものは、厳密な請求書のデータ化ではないことを示唆● 顧客がほしい結果を返すと評価される指標を設計することが重要
© 2022 LayerX圧倒的に使いやすいプロダクトを届け、ワクワクする働き方を。企業活動を支えるコーポレート業務は、ミスができない難しい業務。バクラクはそんな業務の負担を少しでも軽くし、日常の業務がわくわくするような体験を届けます。使いやすさへの圧倒的なこだわりと、深い顧客理解で業務効率化を実現。手作業、ハンコ、紙のやり取りから脱却し、事業と組織を支える本来の仕事に向き合えるようサポートします。
© 2022 LayerXバクラクAIチーム請求書の値を厳密に読み取ることは、通過点であってゴールではない。顧客の業務に寄り添い、ミスや負担を減らし、日常の業務がワクワクするような体験を届ける。そのために、画像認識や自然言語処理だけでなく、情報推薦や検索、異常検知、トレンド予測等、ありとあらゆるテクノロジー、エンジニアリングを駆使する。今はまだ理想には遠いですが、一歩ずつ着実に、ときには大胆な選択でジャンプしつつ、プロダクトビジョンの実現に向けて進んでいきます。圧倒的に使いやすいプロダクトを届け、ワクワクする働き方を。
© 2022 LayerXWe are hiring!バクラクAIチームの理想、プロダクトビジョンを実現するため、まだまだ解決しなければならない課題がたくさんあります！ぜひ一緒に、顧客に「楽しい」と言ってもらえるようなプロダクトをつくりませんか。まずはカジュアル面談からお気軽に！LayerX,バクラクの機械学習チームについて話します！ (Meety)LayerX 採用情報5分でわかるLayerXソフトウェアエンジニア求人票機械学習エンジニア求人票
shuntak
jeromevdl
trycycle
mixi_engineers
okuzawats
yujisoftware
asei
mot_techtalk
tsubakimoto_s
suzukahr
.png){kind=icon}
pharma_x_tech
globis_gdp
shohata
lynnandtonic
rocio
bluesmoon
lara
mclloyd
dougneiner
bermonpainter
brianwarren
kevinliebholz
sachag
jonrohan
lauravandoore