AI-OCR機能のバクラクな体験を支えるソフトウェアエンジニアリング

2023年12月5日【PKSHA Technology × IVRy × LayerX】機械学習に隣接するソフトウェアエンジニアリングの魅力
(https://layerx.connpass.com/event/301128/) における発表資料です。

Transcript

1. © 2023 LayerX Inc. AI-OCR機能のバクラクな体験を支えるソフトウェアエンジニアリング 2023/12/5 【PKSHA Technology × IVRy × LayerX】機械学習に隣接するソフトウェアエンジニアリングの魅力 #AI_SWE Tomoaki Kitaoka(@tapioca_pudd)
2. 2 © 2023 LayerX Inc. 自己紹介 北岡 知晃（Tomoaki Kitaoka） 2019年〜現在 株式会社LayerX バクラク事業部 MLチーム Software Engineer • 新卒入社 • バクラクのリリース初期から AI-OCR機能の開発 趣味 • 体を鍛えること（クロスフィット） • 服を作ること
3. 会社概要・サービス概要
4. 4 © LayerX Inc. 圧倒的に使いやすいプロダクトで わくわくする働き方を。 企業活動を支えるコーポレート業務は、ミスができない難しい業務。 バクラクはそんな業務の負担を少しでも軽くし、日常の業務がわくわくするような体験を届けます。 使いやすさへの圧倒的なこだわりと、深い顧客理解で業務効率化を実現。 手作業、ハンコ、紙のやり取りから脱却し、事業と組織を支える本来の仕事に向き合えるようサポートします。
5. © LayerX Inc. 5 バクラクシリーズとは 支出管理業務を一元管理できる経理業務支援サービス ワークフローから支払までの業務を一本化し、業務効率化と法令対応の両立を実現 請求書の発行と受取 のツールを統一。 発送もカンタン。 「請求書支払」「経費 精算」「カード支払」の 手間を効率化。振込 データも自動作成。 一度登録された仕訳 データを学習して自 動入力。 電子帳簿保存法に対 応し、電子上で保管が 可能。紙の管理の手 間を削減。 請求 支払い 仕訳 保管 ワークフローと各種 支払いツールを連携 し、内部統制を強化。 ワークフロー
6. © LayerX Inc. 6 バクラクシリーズラインナップ 稟議・支払申請・経費精算 仕訳・支払処理効率化 法人カードの発行・管理 帳票保存・ストレージ 帳票発行 * 経費精算のSlack連携は申請内容の通知のみ ・AIが領収書を５秒でデータ化 ・スマホアプリとSlack連携あり ・領収書の重複申請などミス防止機能 ・AIが請求書を５秒でデータ化 ・仕訳・振込データを自動作成 ・稟議から会計までスムーズに連携 ・年会費無料で何枚でも発行可 ・インボイス制度・電帳法対応 ・すべての決済で1%以上の還元 ・AIが書類を5秒でデータ化 ・あらゆる書類の電子保管に対応 ・電子取引・スキャナ保存に完全対応 ・帳票の一括作成も個別作成も自由自在 ・帳票の作成・稟議・送付・保存を一本化 ・レイアウトや項目のカスタマイズも可能
7. © LayerX Inc. 7 仕訳データ 振込データ ⼊⾦データ 取引先 発注 請求 発注 請求 債権管理 債務管理 従業員 経理 バクラクは、企業取引の前段となる「稟議の統⼀」と「債権‧債務の⼀元管理」が可能 従業員‧経理のそれぞれが係る業務領域において、なめらかな業務連携により企業経営を加速させます ※ 開発予定の機能を含む 銀⾏ 会計ソフト 請求書 処理 経費精算 振込 稟議 法⼈ カード 請求書 発⾏ 稟議 (※) 仕訳 (※) ⼊⾦消込 (※) 仕訳 バクラクシリーズの全体像
8. © LayerX Inc. 8 シリーズ累計導入社数 8,000社以上 卸売・小売 士業事務所 非営利法人 製造 不動産・物品賃貸 情報通信 建設・運輸 施設・店舗運営 金融・保険 製造 建設・運輸 卸売・小売 不動産・物品賃貸 施設・店舗運営 士業事務所 情報通信 金融・保険 非営利法人 ※一部企業様を抜粋して掲載しています（2023年10月時点）。
9. AI-OCR機能について
10. © 2023 LayerX Inc. 10 • 請求書に記入されている項目（支払期日や支払金 額、取引先名など）を目視で確認して、ミスなく入 力・管理することはとても負荷の高い仕事 ◦ 対応する枚数が数十、数百枚と増えるにつ れてミスが起こりやすい ◦ 帳票のフォーマットが多種に渡り読み取るこ とが単純に大変 ◦ ミスは許されないためダブルチェック等確認 作業にもコストがかかってしまう AI-OCR機能で解いているタスク AI-OCR機能について
11. © 2023 LayerX Inc. 11 バクラク請求書 AI-OCR（請求書読み取り）機能のデモ AI-OCR機能について
12. © 2023 LayerX Inc. 12 AI-OCR機能の入力と出力 AI-OCR機能について 請求書ファイル （画像・PDF） 請求書に記載の 項目ごとの値 500,000 ２０２１/02/28 株式会社テンプレ 支払期日 支払金額 取引先名 請求書ファイルを入力し、請求書に記載の必要項目ごとの値を出力してユーザーに提示
13. © 2023 LayerX Inc. 13 AI-OCR機能で解いているタスク AI-OCR機能について 請求書ファイル （画像・PDF） 請求書に記載の 項目ごとの値 { “bbox”: [{"x": 0.3421, "y": 0.567},...], "word": “2021/2/28” },... 請求書内の 文字と座標 項目推定 文字検出 文字認識 500,000 ２０２１/02/28 株式会社テンプレ 支払期日 支払金額 取引先名 「文字検出・文字認識」と「項目推定」のタスクに分解
14. AI-OCR機能において バクラクな体験とは何か
15. © 2023 LayerX Inc. 15 AI-OCR機能においてバクラクな体験とは何か OCRの精度が高いこと？ AI-OCR機能においてバクラクな体験とは...
16. © 2023 LayerX Inc. 16 AI-OCR機能においてバクラクな体験とは何か ❌ OCRの精度が高いというのは体験をよくするための要素に過ぎない AI-OCR機能においてバクラクな体験とは... OCRの精度が高いこと？
17. © 2023 LayerX Inc. 17 機械学習を活用したサービスにおいてバクラクな体験とは何か 💮ユーザーがワクワクするくらい 圧倒的に使いやすいこと バクラクな体験とは...
18. © 2023 LayerX Inc. 18 機械学習を活用したサービスにおいてバクラクな体験とは何か プロダクト立ち上げ直後に決めた事業ビジョンは今もブレていない
19. © 2023 LayerX Inc. 19 機械学習を活用したサービスにおいてバクラクな体験とは何か • モデルの性能が良くユーザーの欲しい値を正確に検出できる • 欲しいときにすぐに結果を取得できる • モデルが誤った値を検出しても、気づきやすく、修正しやすい • ユースケースに沿った形に変換してサジェストしてくれる • etc… ユーザーがワクワクするくらい圧倒的に使いやすいこととは... 高い性能の機械学習モデルと、細部にまでこだわったソフトウェアエン ジニアリングを組み合わせることでバクラクな体験が生まれる
20. ソフトウェアエンジニアリングが生み出す バクラクな体験の紹介
21. © 2023 LayerX Inc. 21 • バクラクでは平均5秒でデータ化できることがプロダクトのコアな価値となっている • 経理の方は特に月末月初は多忙を極めている、どんなに精度の高いモデルが作れても時間がかかり過 ぎてしまうと、ユーザー自身で入手した方が早く作業が完了する事態になりかねません スピード ソフトウェアエンジニアリングが生み出すバクラクな体験の紹介 https://bakuraku.jp/case/tjoy/
22. © 2023 LayerX Inc. 22 • バクラクでは一度に１００枚の同時アップロードまで可能 • どんなに精度がOCRも使い時に安定して使えないと体験が損なわれます • 複数の顧客が同時に大量実行してもスケールして動くアーキテクチャを心がけています スケーラビリティ・安定したパフォーマンス・信頼性 ソフトウェアエンジニアリングが生み出すバクラクな体験の紹介
23. © 2023 LayerX Inc. 23 • どんなにモデルの精度が高くても必ず帳票を見ながら確認作業が発生する • 目視で読み取り箇所を認識できるようにすることで視認性が大幅改善 • 読み取りが間違っていた場合も、誤りに気づきやすくなる • 精度だけでなく確認のしやすさも重要な価値 読み取り箇所の色塗り ソフトウェアエンジニアリングが生み出すバクラクな体験の紹介
24. © 2023 LayerX Inc. 24 • 回転しているファイルは向きの補正して表示 • 経費精算などでは横向きの写真が多く、仕訳を作る経理担当者は首を痛めかねない • 色塗り同様、精度だけでなく確認のしやすさもプロダクト重要な価値となっている 回転補正 ソフトウェアエンジニアリングが生み出すバクラクな体験の紹介
25. © 2023 LayerX Inc. 25 • 自社の登録番号など読み取りたくない情報をあらかじめ設定することで読み取り精度が向上 • モデル自体の改善をするよりも、少しの事前設定をして推論の補助をしてあげるとコスパよく精度が上 がるケースも結構ある 除外設定 ソフトウェアエンジニアリングが生み出すバクラクな体験の紹介 • 読み取りたいのは自社（LayerX） の登録番号ではなく、取引先（サン プル株式会社）の登録番号 • あらかじめ自社の登録番号を除外 する設定することでご検知を防ぐ
26. © 2023 LayerX Inc. 26 • 取引先の推論が間違ったとしても、上位類似する帳票をサジェストすることでスクロールの負担を削減 読み取り結果に類似する候補のサジェスト ソフトウェアエンジニアリングが生み出すバクラクな体験の紹介 類似した名前が上位に表示される
27. © 2023 LayerX Inc. 27 • OCRでは複数の振込先口座を読み取ることが可能 • 自社の支払い方法に合わせて手数料の少ない同一行をサジェストする • 読み取り精度が高いだけでは体験はバクラクにならないので、その先の体験にまでこだわる 同行口座のサジェスト ソフトウェアエンジニアリングが生み出すバクラクな体験の紹介 振込先口座が複数書かれている例 • 自社の支払い方法がGMOあおぞら ネット銀行であれば、あおぞら青空 ネット銀行の振込先がサジェストされ る • 自社の支払い方法が三井住友銀行 であれば、三井住友銀行の振込先が サジェストされる
28. 最後に
29. © 2023 LayerX Inc. 29 • モデル開発も重要だが、細部にまでこだわったソフトウェアエンジニアリングを組み合わせることで、そ れぞれ単体では達成できないような魔法のようなワクワクする体験を作り上げる事ができる ◦ 機械学習モデルとプロダクトをつなぐような役割 ◦ モデルの性能を数%高めるより、ソフトウェアエンジニアリングが効果的なことも多い • LLMなど機械学習モデルがすごいスピードでアップデートする中で、モデルをプロダクトに組み込む技 術は枯れることない ◦ 参考：https://tech.layerx.co.jp/entry/aiocr-in-llm-2023 • 今回は触れられなかったが、モデルを継続的に改善・デリバリーするMLOpsもめちゃくちゃ面白い ◦ 作るものがとにかく複雑で設計が難しく、運用も大変 ◦ 機械学習モデルは不確実性が高く、モデルやデータの変化で精度は変化したり、Aと入力したら必 ずBが返ってくるシステムではなかったりする ◦ 技術スタックは多岐にわたる（フロント・バックエンド・インフラ・データ） 機械学習に隣接するソフトウェアエンジニアリングは面白い！ 最後に
30. © 2023 LayerX Inc. 30 We are hiring! 最後に 圧倒的に使いやすく、ワクワクする体験を作る仲間を募集しています！あなたの力を貸してください！ • データエンジニア • アナリティクスエンジニア • データアナリスト • データサイエンティスト • 機械学習エンジニア • MLOpsエンジニア • etc カジュアル面談からお気軽にどうぞ 採用情報 カジュアル面談