Lock in $30 Savings on PRO—Offer Ends Soon! ⏳
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
プロジェクト推進におけるLLMチューニング
Search
LayerX
PRO
July 11, 2024
Technology
2
950
プロジェクト推進におけるLLMチューニング
2024年7月11日に開催した「LLM Tech Night #3」でエンジニアのkoseiが「プロジェクト推進におけるLLMチューニング」をテーマに登壇した際の資料になります。
LayerX
PRO
July 11, 2024
Tweet
Share
More Decks by LayerX
See All by LayerX
LayerX DesignersDeck
layerx
PRO
0
720
vercel AI SDK のストリームと戯れる
layerx
PRO
1
25
LLM生成文章の精度評価自動化とプロンプトチューニングの効率化について
layerx
PRO
3
230
意外(?)と語られないGoのいいところ
layerx
PRO
5
450
事前準備が肝!AI活用のための業務改革
layerx
PRO
1
750
Ai Workforceを支える技術
layerx
PRO
3
1.1k
開発スピードを落とさないために必要なイネーブルメント組織の在り方
layerx
PRO
1
350
バクラク事業部 5分でわかるQAチーム
layerx
PRO
1
490
Fintech事業部流・爆速開発
layerx
PRO
2
370
Other Decks in Technology
See All in Technology
ONNX推論クレートの比較と実装奮闘記
emergent
0
290
つくってあそぼ! ユビキタス言語作文の紹介
ndadayo
1
140
「品質とスピードはトレード・オンできる」に向き合い続けた2年半を振り返る / Quality and speed can be traded on.
mii3king
0
620
深層学習のリペア技術の最新動向と実際 / DNN Repair Techniques for AI Performance Alignment for Safety Requirements
ishikawafyu
0
470
GDGoC開発体験談 - Gemini生成AI活用ハッカソン / GASとFirebaseで挑むパン屋のフードロス解決 -
hotekagi
1
730
GitHub Actions의 다양한 기능 활용하기 - GitHub Universe '24 Recap
outsider
0
470
re:Invent2024のIaC周りのアップデート&セッションの共有/around-re-invent-2024-iac-updates
tomoki10
0
220
Raspberry Pi 秋の新製品をチェックしてみよう / 20231202-rpi-jam-tokyo
akkiesoft
0
420
ドメインロジックで考えるテスタビリティ
leveragestech
1
280
[DevFestTokyo]Accelerating Flutter App Development Using Generative AI
korodroid
1
330
B10-ひと目でわかる(といいなぁ)Microsoft Purview
seafay
PRO
0
340
sre本読んだ感想
pisakun
0
230
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
How to Think Like a Performance Engineer
csswizardry
21
1.2k
A designer walks into a library…
pauljervisheath
204
24k
Navigating Team Friction
lara
183
15k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
48
2.2k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Side Projects
sachag
452
42k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
132
33k
How to train your dragon (web standard)
notwaldorf
88
5.7k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
Site-Speed That Sticks
csswizardry
1
140
Transcript
© LayerX Inc. プロジェクト推進におけるLLMチューニング 2024/07/11 LLM Tech Night #3 by
LayerX
2 © LayerX Inc. 自己紹介 • 藤田 幸成 • AI・LLM事業部 エンジニア
• 経歴 ◦ 学部: 物理学科 ◦ 大学院(休学中): 神経科学(脳情報デコーディング) ◦ 衛星画像解析のスタートアップでインターン ▪ LLMを用いたサービスのプロトタイプ開発等 ◦ 2024/4/1〜 LayerX • やってること: プロダクト導入のための個別案件のPoC ◦ LLMのチューニング ◦ 案件で必要になった機能の開発等 • 好きな北海道のお菓子: マルセイバターサンド • 好きな歌手: デーモン閣下・石川さゆり
事業紹介
4
© 2024 LayerX Inc. 5 「知的単純作業」 としてのドキュメントワーク ドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。 一方、正解が決まっていてクリエイティビティがなく、「早く終わらせる」以外に差別化が乏しい。 フォーマットの違いなどにより、これまで自動化・効率化されなかった。
毎回同じことの繰り返しで やりがいがない 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない
6 Ai Workforceが「知的単純作業」を効率化する方法 様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、 エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うための ワークフローを構築 ②LLMに業務を実行させ、 結果を人間がレビューする 決算書画像出所)
https://investors.3m.com/financials/annual-reports-proxy-statements 例)決算書から財務指標の抽出
本日の内容
8 Ai Workforceが「知的単純作業」を効率化する方法 様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、 エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うための ワークフローを構築 ②LLMに業務を実行させ、 結果を人間がレビューする 決算書画像出所)
https://investors.3m.com/financials/annual-reports-proxy-statements 本日の内容: ここをどう効率的に作るか 例)決算書から財務指標の抽出
© 2024 LayerX Inc. 9 限られた時間でLLMを実用化水準に到達させるために LLMが業務を扱うためのワークフロー構築・技術検証のための プロジェクトの期間や予算は限られている。 その中でLLMを実用化水準まで効率的に持っていくための心構えとして... •
①タスクを分ける • ②深入りしすぎない • ③お客さまを頼る
© 2024 LayerX Inc. 10 ①タスクを分ける ※案件情報を話せないため以下はイメージアップ のための類似事例であり、精度は未検証です 様々な利用規約から サービス提供者の免責事項と
その条項番号を抽出 「ユーザーID及びパスワードの不正利用に よって契約者等に生じた損害について責 任を負わない」 第11条5 画像出所)https://bakuraku.jp/terms/workflow-terms/
© 2024 LayerX Inc. 11 ①タスクを分ける 一度に大きな問題をLLMに解かせるのではなく、細かい簡単なタスクに分解することで解決しやすくなる。 その際、適宜ルールベースやその他NLP・ML技術を組み合わせ、必要な情報が過不足ない状態に近づける。 利用規約から事前定義した項目抽出の例) 階層が深くなる・文章が
長くなるとミスしがち 条項の構造を回答 正規表現を用いて免責事項の 条文に対応する条項番号を取得 一つ一つの問題は LLMにとって解きやすい 条項構造に基づいて 条項番号を取得する 正規表現を作成 免責事項を抽出 様々な利用規約から サービス提供者の免責事項と その条項番号を抽出
© 2024 LayerX Inc. 12 ①タスクを分ける Visionモデルを用いる場合も同様。 一見ひとつに見える「分類」タスクもLLMの「抽出」タスクとして切り分けられたりする。 錠剤が自社の製品かどうかを判別する問題を例とすると... 画像出所)https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI
以下の画像は錠剤です 自社の薬なら1、 それ以外は0を出力して 自社の薬は... 錠剤から識別コードを抽出 抽出したコードに対して自社のものと突合 分類部分は不確実性の低い ルールベースで行う
© 2024 LayerX Inc. 13 ①タスクを分ける LLMが問題が解きやすくなる&検証箇所が明確になる以外にも、以下の嬉しさもある • 解釈性の向上 ◦
どのステップで間違えたのかわかる ◦ 中間ステップの出力をエンドユーザーに表示することも検討 • 後からルールベースなどの処理を挟めるので、仕様を調整しやすくなる ◦ 薬の例) ・抽出した識別コードに対して例外処理を追加 ・特定企業以外の識別コードも判定対象に追加 画像出所)https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI
© 2024 LayerX Inc. 14 多くの場合、タスクの分解には「仮定」が付随する。どこまで「仮定」をおくかは、業務・ドメインに強く依存。 タスクを適切に分解するには業務・ドメインを深く理解する必要がある。 not MECE&個人的な感覚値&実際には組み合わせだが仮定に対する選択手法として以下イメージがある ①タスクを分ける
問題に対して 置ける 仮定の強さ ルールベース その他ML/NLP等 ルールベースで前処理→LLM LLMにルールを分類・抽出させる (function calling・正規表現を回答等) LLMにルールを明示 (think step by step, “ここに着目して”と指示等) マルチエージェント・LLMにタスクを考えさせる? (現状あまり使っていないが) 強
© 2024 LayerX Inc. 15 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト 技術的 工夫例 ・類義語の追加 ・注目箇所の指示 ・few-shot ・よくあるプロンプト手法 (step by step等) ・多段にする ・一部ルールベースで行う ・前処理方法の改善 ・エッジケースのプロンプト追加 ・many-shotのサンプル用意 ・fine-tuningの検討
© 2024 LayerX Inc. 16 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト サンプル データ数の 肌感覚 1サンプル 分布の大きいところから 数サンプル エッジケース
© 2024 LayerX Inc. 17 ②深入りしすぎない (プロンプト)チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値
チューニングのコスト 技術的 工夫例 ・類義語の追加 ・注目箇所の指示 ・few-shot ・よくあるプロンプト手法 (step by step等) ・多段にする ・一部ルールベースで行う ・前処理方法の改善 ・エッジケースのプロンプト追加 ・many-shotのサンプル用意 ・fine-tuningの検討 コードを書かなくても すぐに実践可能で、 提供価値は小〜中程度 コードを書けばすぐに試せて 価値増加幅が大きい =Low Hanging Fruits コストをかけても 価値増加幅が小さい →プロダクトでカバー
© 2024 LayerX Inc. 18 ③お客さまを頼る LLMを実用水準に引き上げるためには適切な問題設計が重要。 適切な問題設計や改善のために、お客さまの業務・ドメインを深く理解するのはもちろんだが、 ドメインエキスパートであるお客さまの力を借りた方が効率的な部分もある。 •
既存業務の入出力ファイル・処理内容は何なのか、業務フローの整理 • どの部分・項目をシステムで出力すると業務が効率化されるのか • 入力のどこから抽出等しているか・正解データの作成 • データのバリエーションと分布はどうか • どこまで仮定を置いていいのか(ルールベース, 入力に応じてプロンプトを変更, etc.) • few-shotのサンプル用意 • どの部分は人手で行うことを許容できるのか... etc
© 2024 LayerX Inc. 19 お礼と宣伝 • 本日のトーク内容の大部分はフィードバックの受け売 りや業務の中で出てきた反省点と学びです。 豊富な学びの機会に感謝しています。
• 大きな市場・不確実性の高い技術のハンドリング・UX にこだわったプロダクト, etc. CTO・執行役員経験者やプロダクト開発経験者を間 近で見て学びながら、面白い問題に面白い技術で取 り組める貴重な環境です! • Biz, エンジニア, デザイナー, インターン, 業務委託等 全方面で採用実施中です! LayerX OpenDoorにていつでも誰でもカジュア ル面談できます!お気軽にお申し込みください!