Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
間違いが許されなくてもLLMが使えるユースケースとは @GenAI Playground Me...
Search
Ryuya Nakamura
July 31, 2024
Technology
11
5.5k
間違いが許されなくてもLLMが使えるユースケースとは @GenAI Playground Meetup #01
2024/7/31 GenAI Playground Meetup #01
Ryuya Nakamura
July 31, 2024
Tweet
Share
More Decks by Ryuya Nakamura
See All by Ryuya Nakamura
フィードバックされやすい人になろう
nrryuya
18
10k
20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day
nrryuya
4
2k
「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用
nrryuya
9
11k
20240130 エンプラDXにおける2024年の生成AIトレンド予測 @生成AI新年会2024
nrryuya
2
2k
20240125 開発側・ビジネス側という壁を作らない LLMアプリ開発 @生成AI Conf
nrryuya
8
3.8k
抜擢されるには
nrryuya
19
13k
キャッチアップ速度が速い #とは
nrryuya
71
37k
LLMアプリケーションの安定性を高めるための精度評価・改善
nrryuya
4
2.4k
20230425 PRIVACY TECH NIGHT #02 「統計化すれば安全」の罠 ──差分プライバシーの背景
nrryuya
0
790
Other Decks in Technology
See All in Technology
AI でアップデートする既存テクノロジーと、クラウドエンジニアの生きる道
soracom
PRO
1
170
バックログを導入し やっぱやめた話
ota42y
0
170
CRTO/CRTL/OSEPの比較・勉強法とAV/EDRの検知実験
chayakonanaika
0
590
[RSJ24] Object Retrieval in Large-Scale Indoor Environments Using Dense Text with a Multi-Modal Large Language Model
keio_smilab
PRO
0
220
New Relicで実践する外形監視
aeonpeople
1
120
#Zenoh 完全に理解した 〜組込み純情篇〜
takasehideki
1
450
いまからでも遅くない! コンテナでWebアプリケーションを 動かしてみよう(1)Gitハンズオン
nomu
0
280
音声AIエージェントの世界とRetell AI入門 / Introduction to the World of Voice AI Agents and Retell AI
rkaga
3
620
20分で分かるIAM全機能 (拡大版) / 20240903-jawsug-yokohama-iam
opelab
3
120
セキュリティ監視の内製化 効率とリスク
mixi_engineers
PRO
6
700
実践的なバグバウンティ入門
scgajge12
4
2.2k
新しいことを組織ではじめる、そしてつづける
kzkmaeda
4
380
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
334
56k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
The Pragmatic Product Professional
lauravandoore
30
6.2k
We Have a Design System, Now What?
morganepeng
48
7.1k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
22
3.9k
WebSockets: Embracing the real-time Web
robhawkes
59
7.3k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
27
8.9k
Music & Morning Musume
bryan
46
6k
Agile that works and the tools we love
rasmusluckow
327
20k
Building a Scalable Design System with Sketch
lauravandoore
458
32k
Art, The Web, and Tiny UX
lynnandtonic
294
20k
Typedesign – Prime Four
hannesfritz
38
2.3k
Transcript
© 2024 LayerX Inc. 間違いが許されなくてもLLMが使えるユースケースとは 2024/7/31 @GenAI Playground Meetup #01
LayerX 部門執行役員・AI・LLM事業部長 中村龍矢
自己紹介・会社紹介
© 2024 LayerX Inc. 3 中村龍矢 機械学習エンジニア 東京大 工学部 •
データサイエンスと出会う Gunosy データ分析部 • 推薦システム開発等 セキュリティ研究者 (現在) 事業責任者 LayerX 創業時からR&D • プログラムの形式検証 • ブロックチェーン ◦ Ethereumへのコント リビューション • LayerX 部門執行役員 AI・LLM事業部長 • IPA 未踏スーパークリエータ • 2020年度 電子情報通信学会 インターネットアーキテクチャ研 究賞 最優秀賞 (共著) • Forbes JAPAN 30 UNDER 30 2023 「世界を変える30 歳未満」 LayerXの新規事業 • プライバシーテック • 大規模言語モデル 自己紹介
© 2024 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名
代表取締役 創業 資本金* 関連会社 株主一覧 取得認証 | 株式会社LayerX(レイヤーエックス) | 代表取締役CEO 福島 良典 代表取締役CTO 松本 勇気 | 2018年 | 132.6億円 | バクラク事業、Fintech事業、AI・LLM事業 | 三井物産デジタル・アセットマネジメント 三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 | | 情報セキュリティマネジメントシステム、 JIIMA認証 提供プロダクト 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理(BSM)SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001
5
© 2024 LayerX Inc. 6 ターゲット: 「知的だが単純」 な長文の文書処理業務 ドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。 一方、正解も決まっているため、負荷を下げて、早く終わらせたい。
毎回同じことの繰り返し 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない Ai Workforceの紹介
© 2024 LayerX Inc. 7 ユースケースの例: 金融業界 Ai Workforceの紹介 決算書や契約書などの書類を別の書類・システムに転記したり、それを確認したりする業務が多い
ファンド関連 契約書 ファンド管理 DB 登記簿等の 公的書類 決算書 稟議書 ドラフト 事業計画書 銀行の稟議書作成・レビュー アセットマネジメント会社の書類整理
LLMと人間によるレビュー
© 2024 LayerX Inc. 9 「間違いが許されないユースケース」でLLMを使いたい 「LLMはミスをするので、ミスが許容される仕事の方が向いている」は本当か? • 例: ブレインストーミングに使う
• しかし、業務活用を考えると、インパクトが小さい、ライトなユースケースになってしまうのでは • 間違いが許されない 「本格的な」 ユースケースの方が、インパクトが出ることも多い ◦ 当社の金融業界での取り組み: 稟議書作成や決算書分析
© 2024 LayerX Inc. 10 LLMの出力をレビューする LLMの結果を人間がレビューすれば、間違いが許されないユースケースでも使える • LLMの出力 =
「下書き」もしくは「叩き台」 • 人間はその「下書き・叩き台」をレビュー・修正する → Ai WorkforceでもレビューのUXにこだわっている
© 2024 LayerX Inc. 11 3M. (2024). 3M 2023 Annual
Report. U.S. Securities and Exchange Commission. https://www.sec.gov/Archives/edgar/data/66740/000130817924000309/mmm4298631-ars.pdf
© 2024 LayerX Inc. 12 抽出元のページ をクリック 参照元をハイライト
レビューの手間を挟んでも 価値のあるユースケース
© 2024 LayerX Inc. 14 ユースケースによっては、レビューのために人間が作業をやり直すような形になってしまう • 例: 重要な契約書について、全ての条文のリスクをチェックする ◦
LLMの指摘に限らず、結局法務担当者に全部レビューしてもらうのでは? • 文書のリスクチェックや、情報抽出のユースケースは、「取りこぼし」 が問題になる ツッコミ: 人間がレビューするならLLMを使わなくても一緒では? インプット アウトプット 結局、全部読むのか、、、 「叩き台」 が無いよりマシ、かもしれないが...
© 2024 LayerX Inc. 15 問い: レビューの手間を挟んでも価値のあるユースケースとは? 人間の 作業時間 アウトプットのための作業と、そのレビューの手続きに非対称性がある場合は?
LLMの出力の レビュー時間 LLMの処理 コスト・時間 > 人間単独の作業時間 LLM+人間の作業時間
© 2024 LayerX Inc. 16 既に普及しそうな 「間違いが許されない」 ユースケース 「ゼロからやるより叩き台があった方がはるかに楽」 かつ
「間違いを局所的に確認できる」 もの • GitHub Copilot等のコード生成 (バグが許されない開発で使うとして) ◦ コードを書くのは時間がかかる ◦ バグはテスト・QAで検知できる • 出版物の外国語への翻訳 (正確性が求められる書籍だとして) ◦ 翻訳した文書を執筆するのは時間がかかる ◦ 文法・語彙がわかれば修正できる • etc.
© 2024 LayerX Inc. 17 長文の文書からの情報抽出などのケースの場合は? インプットに対してアウトプットが小さいユースケースの場合、単なる「叩き台」だとメリットが小さいことも インプット アウトプット インプット
の一部 (暗号分野の「ゼロ知識証明」のアナロジー)
© 2024 LayerX Inc. 18 前提知識に基づいて、アウトプットが効率的に検証できるケース “最大1つしかない” などの前提が既知なら、その結果だけを見れば、インプット全体を見なくても良い • 例:
長文の決算資料から 「連結のB/S」 を抽出する ◦ 「連結のB/S」 の表は通常一箇所しかない、などの前提をおける ◦ 一つ発見できれば、他の箇所は見なくても良い • これに限らず、同様の 「出力を検証する条件」 が既知であれば良い
© 2024 LayerX Inc. 19 結局、触ってもらうのが一番早い価値検証 なのでプロダクトを早く作ろう! • 精度指標の定義を頑張るより、ストップウォッチを持ってA/Bテスト的に検証した方が早い •
ユーザー様に実際触ってもらって感じたこと: 単に業務削減ではない ◦ 「間違いが許されない」業務だからこそ、心理的な負担の軽減のインパクトも大きい
最後に
© 2024 LayerX Inc. 21 お気軽にご連絡ください お問い合わせ 最後に • LayerX公式サイト
「お問い合わせ」 より ◦ https://layerx.co.jp/contact/ (Ai WorkforceのLPはまだありません!)
© 2024 LayerX Inc. 22 ビジネス・エンジニアの垣根なく、一丸となって事業を立ち上げています! LayerXのAI・LLM事業部の仲間を募集しています! 最後に • 特に採用注力中のポジション
(業務委託も歓迎) ◦ ソフトウェアエンジニア ◦ アルゴリズムエンジニア ◦ デザイナー ◦ ビジネス側マネージャー • 応募はこちらから ◦ https://open.talentio.com/r/1/c/layerx/homes/3589?group_ids=8132 • カジュアル面談もお気軽に! ◦ https://t.co/zMlRO4ZBzt
© 2024 LayerX Inc. 23 利活用事例や技術動向などを、特定ベンダーに偏らない形で情報収集いただけます 生成AIに関するニュースレターを毎週配信(無料) 最後に https://layerxnews.substack.com/archive ご登録はこちらから
None