バクラクのAI-OCR機能を支えるアノテーションの仕組み

by Tomoaki

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2023 LayerX Inc. 5 * 資本準備金含む ** 全事業含む会社名　　　　代表取締役　創業　　　　　資本金* 拠点関連会社取得認証｜株式会社LayerX（レイヤーエックス）｜　代表取締役CEO 福島良典　　代表取締役CTO 松本勇気｜　2018年｜　112.６億円｜　バクラク事業、Fintech事業、Privacy Tech事業｜　東京本社・中部支社・関西支社・九州支社｜　三井物産デジタル・アセットマネジメント　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社｜　情報セキュリティマネジメントシステム、　　　　 JIIMA認証提供プロダクト IS 747702 / ISO 27001 次世代プライバシー保護/秘匿化技術国土交通省の「不動産情報の更なる利活用に向けた調査・検証業務」におけるプライバシー保護技術検証も受託バクラク事業企業活動のインフラとなる法人支出管理（ BSM）SaaSを開発・提供 Fintech事業三井物産/三井住友信託銀行等との合弁会社にて証券事業を展開デジタル証券で資産運用できるサービス「ALTERNA」を提供 Privacy Tech事業 LayerXの概要

Slide 6

Slide 6 text

6 © LayerX Inc. 圧倒的に使いやすいプロダクトでわくわくする働き方を。企業活動を支えるコーポレート業務は、ミスができない難しい業務。バクラクはそんな業務の負担を少しでも軽くし、日常の業務がわくわくするような体験を届けます。使いやすさへの圧倒的なこだわりと、深い顧客理解で業務効率化を実現。手作業、ハンコ、紙のやり取りから脱却し、事業と組織を支える本来の仕事に向き合えるようサポートします。

Slide 7

Slide 7 text

© LayerX Inc. 7 バクラクシリーズとは支出管理業務を一元管理できる経理業務支援サービスワークフローから支払までの業務を一本化し、業務効率化と法令対応の両立を実現請求書の発行と受取のツールを統一。発送もカンタン。「請求書支払」「経費精算」「カード支払」の手間を効率化。振込データも自動作成。一度登録された仕訳データを学習して自動入力。電子帳簿保存法に対応し、電子上で保管が可能。紙の管理の手間を削減。請求支払い仕訳保管ワークフローと各種支払いツールを連携し、内部統制を強化。ワークフロー

Slide 8

Slide 8 text

© LayerX Inc. 8 バクラクシリーズラインナップ稟議・支払申請・経費精算仕訳・支払処理効率化法人カードの発行・管理帳票保存・ストレージ帳票発行 * 経費精算のSlack連携は申請内容の通知のみ・AIが領収書を５秒でデータ化・スマホアプリとSlack連携あり・領収書の重複申請などミス防止機能・AIが請求書を５秒でデータ化・仕訳・振込データを自動作成・稟議から会計までスムーズに連携・年会費無料で何枚でも発行可・インボイス制度・電帳法対応・すべての決済で1%以上の還元・AIが書類を5秒でデータ化・あらゆる書類の電子保管に対応・電子取引・スキャナ保存に完全対応・帳票の一括作成も個別作成も自由自在・帳票の作成・稟議・送付・保存を一本化・レイアウトや項目のカスタマイズも可能

Slide 9

Slide 9 text

© LayerX Inc. 9 仕訳データ振込データ⼊⾦データ取引先発注請求発注請求債権管理債務管理従業員経理バクラクは、企業取引の前段となる「稟議の統⼀」と「債権‧債務の⼀元管理」が可能従業員‧経理のそれぞれが係る業務領域において、なめらかな業務連携により企業経営を加速させます ※ 開発予定の機能を含む銀⾏会計ソフト請求書処理経費精算振込稟議法⼈カード請求書発⾏稟議 (※) 仕訳 (※) ⼊⾦消込 (※) 仕訳バクラクシリーズの全体像

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2023 LayerX Inc. 12 解決したい課題 ● 請求書に記入されている項目（支払期日や支払金額、取引先名など）を目視で確認して、ミスなく入力・管理することはとても負荷の高い仕事 ○ 対応する枚数が数十、数百枚と増えるにつれてミスが起こりやすい ○ 帳票のフォーマットが多種に渡り読み取ることが単純に大変 ○ ミスは許されないためダブルチェック等確認作業にもコストがかかってしまう受けとった請求書を手入力でデータ化するという負荷の大きい作業をバクラクにする

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2023 LayerX Inc. 15 AI-OCR機能で解いているタスク請求書ファイル（画像・PDF）請求書に記載の項目ごとの値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... 請求書内の文字と座標項目推定文字検出文字認識 500,000 ２０２１/02/28 株式会社テンプレ支払期日支払金額取引先名「文字検出・文字認識」と「項目推定」のタスクに分解

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2023 LayerX Inc. 17 AI-OCR機能の実現方法請求書ファイルのアップロード（画像・PDF）請求書に記載の項目ごとの値を推定する { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... 外部APIを使用して請求書内の文字と座標を取得 500,000 ２０２１/02/28 株式会社テンプレ支払期日支払金額取引先名文字検出を行ってから項目推定を行う二段階で推定１２３文字検出項目推定

Slide 18

Slide 18 text

© 2023 LayerX Inc. 18 リリース初期の項目推定（ルールベースのモデル） ● ドメイン知識を駆使してルールベースで愚直に実装していた。 ○ スピード感が求められるスタートアップにおいては正しい。 ● 一箇所変更するとこれまで読み取れていたものが読み取れなくなったりとルールが複雑化。 ● 職人芸のような作業であり、特に新しく入ったエンジニアは改修が難しく属人化してしまう。「請求日」の右側に日付があったら請求日「合計金額」の右側に金額があったら支払金額辛い

Slide 19

Slide 19 text

© 2023 LayerX Inc. 19 直近の項目推定（機械学習ベースのモデル） ● 多様なフォーマットの書類に順応するために機械学習ベースのモデルを開発 ● RoBERTa, LayoutLM系のモデルを検討 ● 2022/04にキックオフし、2022/10から機械学習ベースのモデルに順次移行 LayerXにおける機械学習を活用した OCR機能の改善に関する取り組み https://arxiv.org/pdf/1810.04805

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© 2023 LayerX Inc. 24 顧客が真に求めている出力（ユーザーが採用する値）ケース1 支払期日として2021年2月28日(日)を検出顧客「実際に支払うのは平日の26日(金)だから変更しないと！」ケース2 支払金額として500,000円を検出顧客「実際に支払うのは源泉税10.21%を差し引いた448,950円だから変更しないと！」ユーザーが本当に欲しいのは「請求書に記載の値」ではなく「実際の運用に即した値」

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© 2023 LayerX Inc. 28 リリース前〜初期：スプレッドシートフル活用 ● 良かったこと ○ 素早く構築できた ○ リグレッションテストもデータセットを csvで出力してS3にセットすることで高速に構築 ○ 簡単な分析（集計やご検知の分析など）やグラフの作成が容易だった ○ エンジニアがアノテーションもすることで同時にドメイン知識を獲得することができた ● 問題点 ○ ファイルを別でプレビューして照らし合わせるのが大変 ○ ローカルにファイルを落とす作業があり、セキュリティ的に懸念あり ○ 件数が増えてくると分析内容の管理が大変になる

Slide 29

Slide 29 text

© 2023 LayerX Inc. 29 リリース1年目〜2年目: アノテーション基盤の内製（v1） 2021/01 2021/04 2021/11 2022/05 2022/08 2023.09 ● ファイルをプレビューしながらアノテーションできるシステムを構築 ● ファイルに対してメモやタグをつける機能を搭載 ● 体制は専任のアノテーター 1名 + エンジニアが不定期が参加 ● まだルールベースのモデルが中心

Slide 30

Slide 30 text

© 2023 LayerX Inc. 30 リリース1年目〜2年目: アノテーション基盤の内製（v1） ● 良かったこと ○ スプレッドシートの問題点を解決 ■ ローカルへのファイルのダウンロードなしでファイルをプレビューしながらアノテーションが可能に ■ メモやタグづけをすることでファイルの管理が圧倒的に楽に ○ OCRで読み取った値で事前に項目を埋めておくことで、 OCRが間違えてる項目のみ修正するだけになり、アノテーションコストが大幅減 ○ 内製したことにより後から便利な機能を色々追加実装できた ● 問題点 ○ マルチモーダル系の機械学習モデルの検討を始めるにあたり、後から座標の情報も保存したくなった ○ 事前アノテーションによりコストは減ったものの、大量のデータを扱うので少しの手入力がスピードと品質の低下につながっていた

Slide 31

Slide 31 text

© 2023 LayerX Inc. 31 そもそもなぜ内製したのか ● エンジニアがアノテーションすると同時に OCRに失敗しているファイルのエラー分析を同時にできるアノテーション基盤が欲しかったから ● 従来のアノテーションツールは、アノテーション作業のみに特化しており、 OCRの過程で生成される中間生成ファイルの情報やデバッグも同時にできる基盤が欲しかったから ● 元々アプリケーション開発をしていたエンジニアで構成されたチームだったので、内製のハードルが低かったから

Slide 32

Slide 32 text

© 2023 LayerX Inc. 32 リリース2年目〜現在: アノテーション基盤の内製（v2） 2021/01 2021/04 2021/11 2022/05 2022/08 2023.09 ● UIはさほど変わらないが、 v1から根本的作り直した ● 画像から正解ラベルに対応する座標のアノテーションが可能に ● 複数のモデルの結果をサジェスト ● 座標内の文字列を抽出し、サジェストすることで手入力を撲滅 ● 体制は専任のアノテーター 3名

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© 2023 LayerX Inc. 34 リリース2年目〜現在: アノテーション基盤の内製（v2） ● 良かったこと ○ v1の課題が解決 ■ 座標のアノテーションが可能になりマルチモーダルのモデルの開発に活用できるようになった ■ 事前アノテーションが誤っていても、座標内から文字列を抽出することで手入力が不要になった ○ 複数のモデルの読み取り結果を表示することで、アノテーターの入力補助がより強化され、エンジニアはモデル間の性能比較が可能になった ● 問題点 ○ 専任のアノテーターが増え、新規のアノテーターのオンボーディング、アノテーター間でアノテーションのルールの共有の難易度が高い ○ お客様や提供サービスが増加したことにより、多様な書類のアノテーションが必要になっており、アノテーションの難易度自体が高くなっている

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© 2023 LayerX Inc. 36 課題とこれから ● 新規のサービスや新規の読み取り項目に、アノテーションツールが対応する必要がある ○ → 自由度が高い分メンテナンスのコストも ... ● データは溜まっているがまだまだ活用しきれていない ○ → いろんなデータセットでいろんなモデルの検証を進めている途中だが全然手が回っていない... ● モデルの検証はしたもののデリバリーまで持って行けてないプロジェクトも ○ → デリバリーまで持っていくソフトウェアエンジニアが足りてない ...