バクラクにおけるAI-UXな取り組み 2024年8月 ver. / layerx-bakuraku-ai-ux-202408

2024年08月06日 LayerX AI-UX Night (https://layerx.connpass.com/event/324728/) におけるLT資料です。

バクラクにおけるこれまでのAI-UXの取り組みと、これからのAI-UXの取り組みについて紹介しました。また、AI-UXな取り組みにおいて気をつけていることの一部について紹介しました。

Transcript

1. © 2024 LayerX Inc. バクラクにおけるAI-UXな取り組み 2024/8 ver. 2024/08/06 LayerX AI-UX Night 株式会社LayerX Yuya Matsumura(@yu-ya4)
2. © 2024 LayerX Inc. 2 バクラク事業部 機械学習グループ マネージャー/機械学習エンジニア 経歴 • 2018/3 ◦ 京都大学大学院 情報学研究科 修士課程修了 • 現在 ◦ 株式会社LayerX 機械学習グループマネージャー ◦ ウォンテッドリー株式会社 機械学習領域 技術顧問 ◦ NewsPicks プロピッカー(AI) ◦ その他、大学にて非常勤講師やスタートアップの技術 支援等 画像を入れてね 自己紹介 松村 優也（Yuya Matsumura） @yu__ya4
3. バクラクとこれまでのAI-UX with 従来のAI-OCR機能
4. © 2024 LayerX Inc. 4 バクラクシリーズラインナップ 稟議・支払申請・経費精算 仕訳・支払処理効率化 法人カードの発行・管理 帳票保存・ストレージ 帳票発行 * 経費精算のSlack連携は申請内容の通知のみ ・AIが領収書を５秒でデータ化 ・スマホアプリとSlack連携あり ・領収書の重複申請などミス防止機能 ・AIが請求書を５秒でデータ化 ・仕訳・振込データを自動作成 ・稟議から会計までスムーズに連携 ・年会費無料で何枚でも発行可 ・インボイス制度・電帳法対応 ・すべての決済で1%以上の還元 ・AIが書類を5秒でデータ化 ・あらゆる書類の電子保管に対応 ・電子取引・スキャナ保存に完全対応 ・帳票の一括作成も個別作成も自由自在 ・帳票の作成・稟議・送付・保存を一本化 ・レイアウトや項目のカスタマイズも可能
5. © 2024 LayerX Inc. 5 人間が帳票をもとに手入力でデータ化するという作業をなくす AI-OCR機能が解決したいこと 請求書や領収書などの帳票に記載された項目（支払期日や支払金額、取引先名など）を抽出。 • 対応枚数が数十、数百枚と増えるにつれ、 ミスが起こりやすくなる • 帳票のフォーマットは多種に渡り、 目視で必要な項目を探すのは手間がかかる • ミスが許されないため、ダブルチェック等の 確認作業にも追加でコストが必要
6. © 2024 LayerX Inc. 6 様々な機械学習モデルの検証や実運用 AI-OCR機能で利用されている機械学習モデル https://arxiv.org/abs/2012.14740 https://arxiv.org/pdf/1912.13318 https://arxiv.org/pdf/2204.08387 https://arxiv.org/pdf/1810.04805 商用利用可な学習済みモデルが公開されているBERT系のモデルや、マルチモーダル（画像+テキスト）なモ デルであるLayoutLM系のモデルを活用し事前学習やファインチューニング
7. © 2024 LayerX Inc. 7 AI-OCR とAI-UX AI-OCRが間違えることを前提とした体験を提供する 確認しやすい・気づきやすい：抽出箇所の色塗りや読み取り内容に応じたアラート 修正しやすい：プルダウンで他の抽出候補を提示することで、数クリックでの修正を実現
8. バクラクとこれからのAI-UX with AI-OCR, ML, LLM...
9. © 2024 LayerX Inc. 9 様々な項目が必要となる汎用的な稟議申請 従来のAI-OCRでは解決できない課題① B社の契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 同じ契約・購買稟 議でも項目が 各社違う 契約・購買稟議をはじめとする汎用的な稟議全般は、各社項目設計が異なる A社の契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 反社チェック 下請法確認 送信アドレス 締結者情報
10. © 2024 LayerX Inc. 10 契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 既存の機械学習ベースのAI-OCRではすべての項目には対応不可 契約書 見積書 前回稟議情報 自動読み取りが 難しい 多種多様な項目ごとに十分なデータが蓄積されない ソースとなる書類・帳票も複数あり複雑性が高い 機械学習ベースの AI-OCRで自動読取 ？ 従来のAI-OCRでは解決できない課題①
11. © 2024 LayerX Inc. 11 契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 LLMを用いて複数の書類から任意の項目の情報抽出を試みる 契約書 見積書 前回稟議情報 LLMが任意の稟議 項目を自動抽出 十分な精度がでない場合やハルシネーションを考慮した体験面（AI-UX）の設計は必須 ソースとなる関連する情報を特定する部分も技術的なチャレンジ 機械学習ベースの AI-OCRで自動読取 従来のAI-OCRでは解決できない課題①
12. © 2024 LayerX Inc. 12 デモ 従来のAI-OCRでは解決できない課題①
13. © 2024 LayerX Inc. 13 従来のAI-OCRでは解決できない課題② 書類に記載されている以上の情報が必要な経費精算 経費精算時必要となる情報 立て替えをした日 立て替えした金額 立て替え先のお店情報 社内ルールに基づいた区分 飲食の場合、出席者情報 ・・・ 領収書からは得られず、各社独自のルールに基づく入 力項目のため、依然として手入力が存在 機械学習ベースの AI-OCRで自動読取 書類以外のソースが必要であり、AI-OCRによる情報抽出だけでは解決できない
14. © 2024 LayerX Inc. 14 マスタや履歴データなど書類以外のソースも参照して補完を試みる 経費精算時必要となる情報 立て替えをした日 立て替えした金額 立て替え先のお店情報 社内ルールに基づいた区分 飲食の場合、出席者情報 ・・・ 機械学習ベースの AI-OCRで自動読取 社内の支出ルール（勘定科目等） 機械学習やLLMにより 入力補完 立替にまつわるカレンダーデータ 体験面（AI-UX）の設計は必須であり、関連するソースをどのように決定するのかもチャレンジ 従来のAI-OCRでは解決できない課題②
15. © 2024 LayerX Inc. 15 社内ルールに基づいた区分：内訳の選択 経費精算時に、従業員の方は「その経費精算がどの内訳に対応するか」を選択しなければいけない。 各社ごとに自由に設定できる値なので、単純に「この領収書ならこの内訳」という解き方はできない。 経費精算時に従業員が分かりやすいように 会社ごとに名前をつけたもの 経理の方が経理業務で使用する 法律で決まっている値 従来のAI-OCRでは解決できない課題②
16. © 2024 LayerX Inc. 16 内訳推薦 過去に「どの取引先で」「どういう内訳を選択してきたか」などの履歴データを利用することで実現。 従来のAI-OCRでは解決できない課題②
17. © 2024 LayerX Inc. 17 デモ 従来のAI-OCRでは解決できない課題②
18. with AI-UXなバクラクにおいて 大切にしていること（抜粋）
19. © 2024 LayerX Inc. 19 with AI-UXなバクラクにおいて大切にしていること（抜粋） • バクラクはすでに10,000社以上のお客様にご利用いただいており、データの量も質も膨大 • AIに対するお客様の解像度も高くなっている： 「先月に値を修正したのにまだ学習されておらず、今月 もまた間違っています」というFB • LLMだけではなく、機械学習モデルを自前で開発・運用しているからこその強みでもある。 （できるだけ）自動でAIをより賢くするプロセスの組み込み
20. © 2024 LayerX Inc. 20 （できるだけ）自動でAIをより賢くするプロセスの組み込み ①必要なデータ・ログは事前に仕込んでおく 後から必要になっても失われたデータ・ログは戻ってこない。リリースするタイミングで必要な情報は何かを設 計して仕込んでおく。 どういう順番でサジェストした か？どれがクリックされたか？
21. © 2024 LayerX Inc. 21 （できるだけ）自動でAIをより賢くするプロセスの組み込み ②得られるデータがすべて正しいわけでないという前提で扱う たとえばAI-OCRは抽出した値が間違っていた際はお客様が“正しい”値に修正してくれるのだが、、、 • お客様ごとの固有の運用の存在 • 「ちょっと違うけどこれでいいか」という妥協 • 運用に乗っていないトライアルのお客様 存在するデータのみに頼ったモニタリングやAIの改善では、 本当は体験の悪いお客様を見逃してしまう。 声を上げてくださるお客様は一部のみ。
22. © 2024 LayerX Inc. 22 （できるだけ）自動でAIをより賢くするプロセスの組み込み ②得られるデータがすべて正しいわけでないという前提で扱う • そもそも正しい値を簡単に入力してもらえるようなUXの提供 • ドメイン知識や運用から得た知見に基づいたモニタリング • 人の目による具体的なデータの確認やアノテーション作業 https://speakerdeck.com/yuya4/data-centric-ai-bakuraku-dataset
23. © 2024 LayerX Inc. 23 （できるだけ）自動でAIをより賢くするプロセスの組み込み ③より体験改善に寄与するデータを見極めて活用する 大量のデータをすべて改善に活用するのは人間や計算機の制約上、効率的でないし現実的でもない • 同じ“間違い”でも、より体験を毀損してしまっている間違いとは？ • AIがより効率的に性能を上げられるようなサンプルとは？ https://amzn.asia/d/72GISHv
24. まとめ
25. © 2024 LayerX Inc. 25 with 従来のAI-OCR機能からより広い課題の解決へ まとめ バクラクとこれまで、これからのAI-UXのご紹介 with AI-UXなバクラクにおいて大切にしていること（抜粋） 1. 必要なデータ・ログは事前に仕込んでおく 2. 得られるデータがすべて正しいわけでないという前提で扱う 3. より体験改善に繋がるデータを見極めて活用する