間違いが許されなくてもLLMが使えるユースケースとは @GenAI Playground Meetup #01

2024/7/31 GenAI Playground Meetup #01

Transcript

1. © 2024 LayerX Inc. 間違いが許されなくてもLLMが使えるユースケースとは 2024/7/31 @GenAI Playground Meetup #01 LayerX 部門執行役員・AI・LLM事業部長 中村龍矢
2. 自己紹介・会社紹介
3. © 2024 LayerX Inc. 3 中村龍矢 機械学習エンジニア 東京大 工学部 • データサイエンスと出会う Gunosy データ分析部 • 推薦システム開発等 セキュリティ研究者 （現在） 事業責任者 LayerX 創業時からR&D • プログラムの形式検証 • ブロックチェーン ◦ Ethereumへのコント リビューション • LayerX 部門執行役員 AI・LLM事業部長 • IPA 未踏スーパークリエータ • 2020年度 電子情報通信学会 インターネットアーキテクチャ研 究賞 最優秀賞 (共著) • Forbes JAPAN 30 UNDER 30 2023 「世界を変える30 歳未満」 LayerXの新規事業 • プライバシーテック • 大規模言語モデル 自己紹介
4. © 2024 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名　　　　 代表取締役　 創業　　　　　 資本金* 関連会社 株主一覧　 取得認証 ｜ 株式会社LayerX（レイヤーエックス） ｜　代表取締役CEO 福島 良典 　　 代表取締役CTO 松本 勇気 ｜　2018年 ｜　132.6億円 ｜　バクラク事業、Fintech事業、AI・LLM事業 ｜　三井物産デジタル・アセットマネジメント 　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 ｜　 ｜　情報セキュリティマネジメントシステム、　　 　　 JIIMA認証 提供プロダクト 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理（BSM）SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001
6. © 2024 LayerX Inc. 6 ターゲット: 「知的だが単純」 な長文の文書処理業務 ドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。 一方、正解も決まっているため、負荷を下げて、早く終わらせたい。 毎回同じことの繰り返し 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない Ai Workforceの紹介
7. © 2024 LayerX Inc. 7 ユースケースの例: 金融業界 Ai Workforceの紹介 決算書や契約書などの書類を別の書類・システムに転記したり、それを確認したりする業務が多い ファンド関連 契約書 ファンド管理 DB 登記簿等の 公的書類 決算書 稟議書 ドラフト 事業計画書 銀行の稟議書作成・レビュー アセットマネジメント会社の書類整理
8. LLMと人間によるレビュー
9. © 2024 LayerX Inc. 9 「間違いが許されないユースケース」でLLMを使いたい 「LLMはミスをするので、ミスが許容される仕事の方が向いている」は本当か？ • 例: ブレインストーミングに使う • しかし、業務活用を考えると、インパクトが小さい、ライトなユースケースになってしまうのでは • 間違いが許されない 「本格的な」 ユースケースの方が、インパクトが出ることも多い ◦ 当社の金融業界での取り組み: 稟議書作成や決算書分析
10. © 2024 LayerX Inc. 10 LLMの出力をレビューする LLMの結果を人間がレビューすれば、間違いが許されないユースケースでも使える • LLMの出力 = 「下書き」もしくは「叩き台」 • 人間はその「下書き・叩き台」をレビュー・修正する → Ai WorkforceでもレビューのUXにこだわっている
11. © 2024 LayerX Inc. 11 3M. (2024). 3M 2023 Annual Report. U.S. Securities and Exchange Commission. https://www.sec.gov/Archives/edgar/data/66740/000130817924000309/mmm4298631-ars.pdf
12. © 2024 LayerX Inc. 12 抽出元のページ をクリック 参照元をハイライト
13. レビューの手間を挟んでも 価値のあるユースケース
14. © 2024 LayerX Inc. 14 ユースケースによっては、レビューのために人間が作業をやり直すような形になってしまう • 例: 重要な契約書について、全ての条文のリスクをチェックする ◦ LLMの指摘に限らず、結局法務担当者に全部レビューしてもらうのでは？ • 文書のリスクチェックや、情報抽出のユースケースは、「取りこぼし」 が問題になる ツッコミ: 人間がレビューするならLLMを使わなくても一緒では？ インプット アウトプット 結局、全部読むのか、、、 「叩き台」 が無いよりマシ、かもしれないが...
15. © 2024 LayerX Inc. 15 問い: レビューの手間を挟んでも価値のあるユースケースとは？ 人間の 作業時間 アウトプットのための作業と、そのレビューの手続きに非対称性がある場合は？ LLMの出力の レビュー時間 LLMの処理 コスト・時間 > 人間単独の作業時間 LLM+人間の作業時間
16. © 2024 LayerX Inc. 16 既に普及しそうな 「間違いが許されない」 ユースケース 「ゼロからやるより叩き台があった方がはるかに楽」 かつ 「間違いを局所的に確認できる」 もの • GitHub Copilot等のコード生成 （バグが許されない開発で使うとして） ◦ コードを書くのは時間がかかる ◦ バグはテスト・QAで検知できる • 出版物の外国語への翻訳 （正確性が求められる書籍だとして） ◦ 翻訳した文書を執筆するのは時間がかかる ◦ 文法・語彙がわかれば修正できる • etc.
17. © 2024 LayerX Inc. 17 長文の文書からの情報抽出などのケースの場合は？ インプットに対してアウトプットが小さいユースケースの場合、単なる「叩き台」だとメリットが小さいことも インプット アウトプット インプット の一部 （暗号分野の「ゼロ知識証明」のアナロジー）
18. © 2024 LayerX Inc. 18 前提知識に基づいて、アウトプットが効率的に検証できるケース “最大1つしかない” などの前提が既知なら、その結果だけを見れば、インプット全体を見なくても良い • 例: 長文の決算資料から 「連結のB/S」 を抽出する ◦ 「連結のB/S」 の表は通常一箇所しかない、などの前提をおける ◦ 一つ発見できれば、他の箇所は見なくても良い • これに限らず、同様の 「出力を検証する条件」 が既知であれば良い
19. © 2024 LayerX Inc. 19 結局、触ってもらうのが一番早い価値検証 なのでプロダクトを早く作ろう！ • 精度指標の定義を頑張るより、ストップウォッチを持ってA/Bテスト的に検証した方が早い • ユーザー様に実際触ってもらって感じたこと: 単に業務削減ではない ◦ 「間違いが許されない」業務だからこそ、心理的な負担の軽減のインパクトも大きい
20. 最後に
21. © 2024 LayerX Inc. 21 お気軽にご連絡ください お問い合わせ 最後に • LayerX公式サイト 「お問い合わせ」 より ◦ https://layerx.co.jp/contact/ （Ai WorkforceのLPはまだありません！）
22. © 2024 LayerX Inc. 22 ビジネス・エンジニアの垣根なく、一丸となって事業を立ち上げています！ LayerXのAI・LLM事業部の仲間を募集しています！ 最後に • 特に採用注力中のポジション （業務委託も歓迎） ◦ ソフトウェアエンジニア ◦ アルゴリズムエンジニア ◦ デザイナー ◦ ビジネス側マネージャー • 応募はこちらから ◦ https://open.talentio.com/r/1/c/layerx/homes/3589?group_ids=8132 • カジュアル面談もお気軽に！ ◦ https://t.co/zMlRO4ZBzt
23. © 2024 LayerX Inc. 23 利活用事例や技術動向などを、特定ベンダーに偏らない形で情報収集いただけます 生成AIに関するニュースレターを毎週配信（無料） 最後に https://layerxnews.substack.com/archive ご登録はこちらから