バクラクにおけるAI-UXな取り組み 2024年8月 ver. / layerx-bakuraku-ai-ux-202408

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2024 LayerX Inc. 2 バクラク事業部機械学習グループマネージャー/機械学習エンジニア経歴 ● 2018/3 ○ 京都大学大学院情報学研究科修士課程修了 ● 現在 ○ 株式会社LayerX 機械学習グループマネージャー ○ ウォンテッドリー株式会社機械学習領域技術顧問 ○ NewsPicks プロピッカー(AI) ○ その他、大学にて非常勤講師やスタートアップの技術支援等画像を入れてね自己紹介松村優也（Yuya Matsumura） @yu__ya4

Slide 3

Slide 3 text

バクラクとこれまでのAI-UX with 従来のAI-OCR機能

Slide 4

Slide 4 text

© 2024 LayerX Inc. 4 バクラクシリーズラインナップ稟議・支払申請・経費精算仕訳・支払処理効率化法人カードの発行・管理帳票保存・ストレージ帳票発行 * 経費精算のSlack連携は申請内容の通知のみ・AIが領収書を５秒でデータ化・スマホアプリとSlack連携あり・領収書の重複申請などミス防止機能・AIが請求書を５秒でデータ化・仕訳・振込データを自動作成・稟議から会計までスムーズに連携・年会費無料で何枚でも発行可・インボイス制度・電帳法対応・すべての決済で1%以上の還元・AIが書類を5秒でデータ化・あらゆる書類の電子保管に対応・電子取引・スキャナ保存に完全対応・帳票の一括作成も個別作成も自由自在・帳票の作成・稟議・送付・保存を一本化・レイアウトや項目のカスタマイズも可能

Slide 5

Slide 5 text

© 2024 LayerX Inc. 5 人間が帳票をもとに手入力でデータ化するという作業をなくす AI-OCR機能が解決したいこと請求書や領収書などの帳票に記載された項目（支払期日や支払金額、取引先名など）を抽出。 ● 対応枚数が数十、数百枚と増えるにつれ、ミスが起こりやすくなる ● 帳票のフォーマットは多種に渡り、目視で必要な項目を探すのは手間がかかる ● ミスが許されないため、ダブルチェック等の確認作業にも追加でコストが必要

Slide 6

Slide 6 text

© 2024 LayerX Inc. 6 様々な機械学習モデルの検証や実運用 AI-OCR機能で利用されている機械学習モデル https://arxiv.org/abs/2012.14740 https://arxiv.org/pdf/1912.13318 https://arxiv.org/pdf/2204.08387 https://arxiv.org/pdf/1810.04805 商用利用可な学習済みモデルが公開されているBERT系のモデルや、マルチモーダル（画像+テキスト）なモデルであるLayoutLM系のモデルを活用し事前学習やファインチューニング

Slide 7

Slide 7 text

Slide 8

Slide 8 text

バクラクとこれからのAI-UX with AI-OCR, ML, LLM...

Slide 9

Slide 9 text

© 2024 LayerX Inc. 9 様々な項目が必要となる汎用的な稟議申請従来のAI-OCRでは解決できない課題① B社の契約・購買稟議項目・・・購買理由契約書情報契約先情報購買金額契約期間締結方法予算コード前回稟議得意先コード郵送先住所押印有無印鑑種別同じ契約・購買稟議でも項目が各社違う契約・購買稟議をはじめとする汎用的な稟議全般は、各社項目設計が異なる A社の契約・購買稟議項目・・・購買理由契約書情報契約先情報購買金額契約期間締結方法予算コード前回稟議反社チェック下請法確認送信アドレス締結者情報

Slide 10

Slide 10 text

© 2024 LayerX Inc. 10 契約・購買稟議項目・・・購買理由契約書情報契約先情報購買金額契約期間締結方法予算コード前回稟議得意先コード郵送先住所押印有無印鑑種別既存の機械学習ベースのAI-OCRではすべての項目には対応不可契約書見積書前回稟議情報自動読み取りが難しい多種多様な項目ごとに十分なデータが蓄積されないソースとなる書類・帳票も複数あり複雑性が高い機械学習ベースの AI-OCRで自動読取？従来のAI-OCRでは解決できない課題①

Slide 11

Slide 11 text

© 2024 LayerX Inc. 11 契約・購買稟議項目・・・購買理由契約書情報契約先情報購買金額契約期間締結方法予算コード前回稟議得意先コード郵送先住所押印有無印鑑種別 LLMを用いて複数の書類から任意の項目の情報抽出を試みる契約書見積書前回稟議情報 LLMが任意の稟議項目を自動抽出十分な精度がでない場合やハルシネーションを考慮した体験面（AI-UX）の設計は必須ソースとなる関連する情報を特定する部分も技術的なチャレンジ機械学習ベースの AI-OCRで自動読取従来のAI-OCRでは解決できない課題①

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© 2024 LayerX Inc. 13 従来のAI-OCRでは解決できない課題② 書類に記載されている以上の情報が必要な経費精算経費精算時必要となる情報立て替えをした日立て替えした金額立て替え先のお店情報社内ルールに基づいた区分飲食の場合、出席者情報・・・領収書からは得られず、各社独自のルールに基づく入力項目のため、依然として手入力が存在機械学習ベースの AI-OCRで自動読取書類以外のソースが必要であり、AI-OCRによる情報抽出だけでは解決できない

Slide 14

Slide 14 text

© 2024 LayerX Inc. 14 マスタや履歴データなど書類以外のソースも参照して補完を試みる経費精算時必要となる情報立て替えをした日立て替えした金額立て替え先のお店情報社内ルールに基づいた区分飲食の場合、出席者情報・・・機械学習ベースの AI-OCRで自動読取社内の支出ルール（勘定科目等）機械学習やLLMにより入力補完立替にまつわるカレンダーデータ体験面（AI-UX）の設計は必須であり、関連するソースをどのように決定するのかもチャレンジ従来のAI-OCRでは解決できない課題②

Slide 15

Slide 15 text

© 2024 LayerX Inc. 15 社内ルールに基づいた区分：内訳の選択経費精算時に、従業員の方は「その経費精算がどの内訳に対応するか」を選択しなければいけない。各社ごとに自由に設定できる値なので、単純に「この領収書ならこの内訳」という解き方はできない。経費精算時に従業員が分かりやすいように会社ごとに名前をつけたもの経理の方が経理業務で使用する法律で決まっている値従来のAI-OCRでは解決できない課題②

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

with AI-UXなバクラクにおいて大切にしていること（抜粋）

Slide 19

Slide 19 text

© 2024 LayerX Inc. 19 with AI-UXなバクラクにおいて大切にしていること（抜粋） ● バクラクはすでに10,000社以上のお客様にご利用いただいており、データの量も質も膨大 ● AIに対するお客様の解像度も高くなっている：「先月に値を修正したのにまだ学習されておらず、今月もまた間違っています」というFB ● LLMだけではなく、機械学習モデルを自前で開発・運用しているからこその強みでもある。（できるだけ）自動でAIをより賢くするプロセスの組み込み

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2024 LayerX Inc. 21 （できるだけ）自動でAIをより賢くするプロセスの組み込み ②得られるデータがすべて正しいわけでないという前提で扱うたとえばAI-OCRは抽出した値が間違っていた際はお客様が“正しい”値に修正してくれるのだが、、、 ● お客様ごとの固有の運用の存在 ● 「ちょっと違うけどこれでいいか」という妥協 ● 運用に乗っていないトライアルのお客様存在するデータのみに頼ったモニタリングやAIの改善では、本当は体験の悪いお客様を見逃してしまう。声を上げてくださるお客様は一部のみ。

Slide 22

Slide 22 text

© 2024 LayerX Inc. 22 （できるだけ）自動でAIをより賢くするプロセスの組み込み ②得られるデータがすべて正しいわけでないという前提で扱う ● そもそも正しい値を簡単に入力してもらえるようなUXの提供 ● ドメイン知識や運用から得た知見に基づいたモニタリング ● 人の目による具体的なデータの確認やアノテーション作業 https://speakerdeck.com/yuya4/data-centric-ai-bakuraku-dataset

Slide 23

Slide 23 text

© 2024 LayerX Inc. 23 （できるだけ）自動でAIをより賢くするプロセスの組み込み ③より体験改善に寄与するデータを見極めて活用する大量のデータをすべて改善に活用するのは人間や計算機の制約上、効率的でないし現実的でもない ● 同じ“間違い”でも、より体験を毀損してしまっている間違いとは？ ● AIがより効率的に性能を上げられるようなサンプルとは？ https://amzn.asia/d/72GISHv