AX時代のオペレーション構築

Transcript

1. AX時代のオペレーション構築 Kawabata Kazuki @ Goodpatch,inc
2. アジェンダ 1. 自己紹介 2. AI時代のオペレーションを構築する：請求書処理業務 3. 具体的なメール請求書処理 4. 精度50%を前提に受け入れる 5. グッドパッチについて
3. 自己紹介 名前：川端 和樹 職業：エンジニア 経歴：ゲーム、マッチングアプリ、金融、広告と 様々な業界におけるエンジニア、EM経験を積んだ後 PdM、事業開発を経験。グッドパッチでは社長室に所属。
4. AI時代のオペレーションを構築する
5. • AIを業務プロセスへ取り込むには、LLMの特性理解が必要 • 特性を前提としたオペレーションプロセスを定義することでAXは実現する 今回は、クライアント様のメール請求書処理業務をAXした取り組みについて お話しいたします。 LLMは精度100%ではない。だから、オペレーションには使え ない。そう思ってませんか？
6. DXではプロセスはそのまま、 AXでは新プロセス DX AX 1. 人が：メールを探す 2. 人が：メール読み込む 3. 人が：請求書判定する 4. 人が：請求書をダウンロードする 5. 人が：請求書サービスに取り込む メ I ル 請 求 書 取 込 1. AIが：メールを探す 2. AIが：メール読み込む 3. AIが：請求書判定し、ファイル DL 4. 人が：確認する 5. 人が：AIにフィードバックする
7. 問い：精度 50%の仕事するバイトを雇うことになったら？ ↑のような問いがきたらどうしますか？ もう採用することは決まってる、という前提で何をお願いしますか？ ここがLLM活用の重要な観点になってきます。 仮にあなたが、オペレーションチームのマネージャーで新しいアルバイトを雇うとなった ら、どんな仕事の仕方をお願いするでしょうか？ 上記を念頭に入れながら、ご説明を聞いていただけますと幸いです。
8. AXにおける重要な指標：精度 /速度/コスト 精度 フォーマット、内容を期待したアウトプットを 100とした 時の評価 速度 プロンプト実行時に、 LLMがアウトプットを出すまでの リードタイム コスト プロンプト実行した際の LLM API実行コスト そもそも、精度 100%のLLMはない。これらの指標もトレードオフ
9. 具体的なメール請求書処理
10. メールを開く PDF:請求書DL 本文:請求書判断 PDF:請求書分析 PDF:Drive格納 インプット： メール文面 アウトプット： 請求書メールか判断 インプット： PDFファイルもしくはダウ ンロードリンク アウトプット： 請求書PDF インプット： PDFの中身 アウトプット： ・締日 ・支払額 ・請求会社 ・請求内容 インプット： 締日 アウトプット： 格納先フォルダ LLMが処理しやすいようにプロセスを定義
11. メールを開く PDF:請求書DL 本文:請求書判断 PDF:請求書分析 PDF:Drive格納 インプット： メール文面 アウトプット： 請求書メールか判断 インプット： PDFファイルもしくはダウ ンロードリンク アウトプット： 請求書PDF インプット： PDFの中身 アウトプット： ・締日 ・支払額 ・請求会社 ・請求内容 インプット： 締日 アウトプット： 格納先フォルダ 各プロセスをタスク化してプロンプト実行 文面を読んで請求書を 送ってきてるものかどう か判断してください pdfファイルがあったら 請求書と判定してくださ い Pdf読み取って以下の 情報を取得してきてくだ さい ・締日 … フォルダのアップロード 先のフォルダ名を作成 し、アップロードしてくだ さい タスク実行のプロンプトを 設定する
12. メールを開く PDF:請求書DL 本文:請求書判断 PDF:請求書分析 PDF:Drive格納 インプット： メール文面 アウトプット： 請求書メールか判断 インプット： PDFファイルもしくはダウ ンロードリンク アウトプット： 請求書PDF インプット： PDFの中身 アウトプット： ・締日 ・支払額 ・請求会社 ・請求内容 インプット： 締日 アウトプット： 格納先フォルダ LLMが処理しやすいようにプロセスを定義 誤判定リスク ダウンロード漏れリ スク 読み取り失敗 リスク アップロード失敗 リスク プロセスごとのリ スクはある
13. 精度50%を前提に受け入れる
14. メールを開く PDF:請求書DL 本文:請求書判断 PDF:請求書分析 PDF:Drive格納 インプット： メール文面 アウトプット： 請求書メールか判断 ＋判定自信度(0-100) インプット： PDFの中身 アウトプット： ・締日 ・支払額 ・請求会社 ・請求内容 ＋読み取り成否 インプット： 締日 アウトプット： 格納先フォルダ ＋アップロード想定フォル ダ名 インプット： PDFファイルもしくはダウ ンロードリンク アウトプット： 請求書PDF ＋取得結果 誤判定リスク ダウンロード漏れリ スク 読み取り失敗 リスク アップロード失敗 リスク リスクを評価するパラメー タを出す 実行履歴をリスク評価パラメータと合わせてログに残して追えるようにする
15. メールを開く PDF:請求書DL 本文:請求書判断 PDF:請求書分析 PDF:Drive格納 インプット： メール文面 アウトプット： 請求書メールか判断 ＋判定自信度(0-100) インプット： PDFの中身 アウトプット： ・締日 ・支払額 ・請求会社 ・請求内容 ＋読み取り成否 インプット： 締日 アウトプット： 格納先フォルダ ＋アップロード想定フォル ダ名 インプット： PDFファイルもしくはダウ ンロードリンク アウトプット： 請求書PDF ＋取得結果 誤判定リスク ダウンロード漏れリ スク 読み取り失敗 リスク アップロード失敗 リスク 評価できるようになったら、それぞれのステップのプロンプトを調整する リスクを評価するパラメー タを出す メールに請求書というテ キストが入っていたら 100,そうでなければ20 としてください 明らかに請求書ではな い場合を除き、金額が 書いてある場合は 請求書として良い 画像読み取りに失敗し た場合は、写真分析の APIをつかってください 通信に失敗した場合 は、本来あげる予定の フォルダ名を記録してく ださい タスク実行のプロンプトを チューニングする
16. LLMとともに改善を回すことでプロセス変化 DX AX 1. 人が：メールを探す 2. 人が：メール読み込む 3. 人が：請求書判定する 4. 人が：請求書をダウンロードする 5. 人が：請求書サービスに取り込む メ I ル 請 求 書 取 込 精度100%でなくとも「すべてのメールを端から端まで確認する」 という認知負荷のかかる作業がなくなるという価値が生まれる。 AIとの共創によって新しいプロセスを産み、前に進める 1. AIが：メールを探す 2. AIが：メール読み込む 3. AIが：請求書判定し、ファイル DL 4. 人が：確認する 5. 人が：AIにフィードバックする
17. 社内における AXの事例
18. ナレッジ検索エンジン（ RAG＋ブラウザ拡張アプリ） ・社内ノウハウが見つかる ・求める答えを生成 ・いつでも見返せる 社内プロダクト AIペルソナ ・知りたいバーチャルペルソナを生成 ・聞いた履歴が残せる
19. AIネイティブな事業の立ち上げ Hrmony Layermate
20. AIネイティブな事業の立ち上げ Hrmony Layermate
21. AXのナレッジはたくさんあります。 少しでもご興味をありましたらブースまでお越しください