プロジェクト推進におけるLLMチューニング

2024年7月11日に開催した「LLM Tech Night #3」でエンジニアのkoseiが「プロジェクト推進におけるLLMチューニング」をテーマに登壇した際の資料になります。

Transcript

1. © LayerX Inc. プロジェクト推進におけるLLMチューニング 2024/07/11 LLM Tech Night #3 by LayerX
2. 2 © LayerX Inc. 自己紹介 • 藤田 幸成 • AI・LLM事業部　エンジニア • 経歴 ◦ 学部：　物理学科 ◦ 大学院（休学中）：　神経科学（脳情報デコーディング） ◦ 衛星画像解析のスタートアップでインターン ▪ LLMを用いたサービスのプロトタイプ開発等 ◦ 2024/4/1〜 LayerX • やってること：　プロダクト導入のための個別案件のPoC ◦ LLMのチューニング ◦ 案件で必要になった機能の開発等 • 好きな北海道のお菓子：　マルセイバターサンド • 好きな歌手：　デーモン閣下・石川さゆり
3. 事業紹介
5. © 2024 LayerX Inc. 5 「知的単純作業」 としてのドキュメントワーク ドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。 一方、正解が決まっていてクリエイティビティがなく、「早く終わらせる」以外に差別化が乏しい。 フォーマットの違いなどにより、これまで自動化・効率化されなかった。 毎回同じことの繰り返しで やりがいがない 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない
6. 6 Ai Workforceが「知的単純作業」を効率化する方法 様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、 エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うための ワークフローを構築 ②LLMに業務を実行させ、 結果を人間がレビューする 決算書画像出所） https://investors.3m.com/financials/annual-reports-proxy-statements 例）決算書から財務指標の抽出
7. 本日の内容
8. 8 Ai Workforceが「知的単純作業」を効率化する方法 様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、 エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うための ワークフローを構築 ②LLMに業務を実行させ、 結果を人間がレビューする 決算書画像出所） https://investors.3m.com/financials/annual-reports-proxy-statements 本日の内容： ここをどう効率的に作るか 例）決算書から財務指標の抽出
9. © 2024 LayerX Inc. 9 限られた時間でLLMを実用化水準に到達させるために LLMが業務を扱うためのワークフロー構築・技術検証のための プロジェクトの期間や予算は限られている。 その中でLLMを実用化水準まで効率的に持っていくための心構えとして... • ①タスクを分ける • ②深入りしすぎない • ③お客さまを頼る
10. © 2024 LayerX Inc. 10 ①タスクを分ける ※案件情報を話せないため以下はイメージアップ のための類似事例であり、精度は未検証です 様々な利用規約から サービス提供者の免責事項と その条項番号を抽出 「ユーザーID及びパスワードの不正利用に よって契約者等に生じた損害について責 任を負わない」 第１１条5 画像出所）https://bakuraku.jp/terms/workflow-terms/
11. © 2024 LayerX Inc. 11 ①タスクを分ける 一度に大きな問題をLLMに解かせるのではなく、細かい簡単なタスクに分解することで解決しやすくなる。 その際、適宜ルールベースやその他NLP・ML技術を組み合わせ、必要な情報が過不足ない状態に近づける。 利用規約から事前定義した項目抽出の例） 階層が深くなる・文章が 長くなるとミスしがち 条項の構造を回答 正規表現を用いて免責事項の 条文に対応する条項番号を取得 一つ一つの問題は LLMにとって解きやすい 条項構造に基づいて 条項番号を取得する 正規表現を作成 免責事項を抽出 様々な利用規約から サービス提供者の免責事項と その条項番号を抽出
12. © 2024 LayerX Inc. 12 ①タスクを分ける Visionモデルを用いる場合も同様。 一見ひとつに見える「分類」タスクもLLMの「抽出」タスクとして切り分けられたりする。 錠剤が自社の製品かどうかを判別する問題を例とすると... 画像出所）https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI 以下の画像は錠剤です 自社の薬なら1、 それ以外は0を出力して 自社の薬は... 錠剤から識別コードを抽出 抽出したコードに対して自社のものと突合 分類部分は不確実性の低い ルールベースで行う
13. © 2024 LayerX Inc. 13 ①タスクを分ける LLMが問題が解きやすくなる＆検証箇所が明確になる以外にも、以下の嬉しさもある • 解釈性の向上 ◦ どのステップで間違えたのかわかる ◦ 中間ステップの出力をエンドユーザーに表示することも検討 • 後からルールベースなどの処理を挟めるので、仕様を調整しやすくなる ◦ 薬の例） ・抽出した識別コードに対して例外処理を追加 ・特定企業以外の識別コードも判定対象に追加 画像出所）https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI
14. © 2024 LayerX Inc. 14 多くの場合、タスクの分解には「仮定」が付随する。どこまで「仮定」をおくかは、業務・ドメインに強く依存。 タスクを適切に分解するには業務・ドメインを深く理解する必要がある。 not MECE＆個人的な感覚値&実際には組み合わせだが仮定に対する選択手法として以下イメージがある ①タスクを分ける 問題に対して 置ける 仮定の強さ ルールベース その他ML/NLP等 ルールベースで前処理→LLM LLMにルールを分類・抽出させる （function calling・正規表現を回答等） LLMにルールを明示 （think step by step, “ここに着目して”と指示等） マルチエージェント・LLMにタスクを考えさせる？ （現状あまり使っていないが） 強
15. © 2024 LayerX Inc. 15 ②深入りしすぎない （プロンプト）チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値 チューニングのコスト 技術的 工夫例 ・類義語の追加 ・注目箇所の指示 ・few-shot ・よくあるプロンプト手法 （step by step等） ・多段にする ・一部ルールベースで行う ・前処理方法の改善 ・エッジケースのプロンプト追加 ・many-shotのサンプル用意 ・fine-tuningの検討
16. © 2024 LayerX Inc. 16 ②深入りしすぎない （プロンプト）チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値 チューニングのコスト サンプル データ数の 肌感覚 1サンプル 分布の大きいところから 数サンプル エッジケース
17. © 2024 LayerX Inc. 17 ②深入りしすぎない （プロンプト）チューニングは際限ないが、効果は逓減してくるはず。 価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。 項目抽出ユースケースをしている中での肌感覚としては... 提供価値 チューニングのコスト 技術的 工夫例 ・類義語の追加 ・注目箇所の指示 ・few-shot ・よくあるプロンプト手法 （step by step等） ・多段にする ・一部ルールベースで行う ・前処理方法の改善 ・エッジケースのプロンプト追加 ・many-shotのサンプル用意 ・fine-tuningの検討 コードを書かなくても すぐに実践可能で、 提供価値は小〜中程度 コードを書けばすぐに試せて 価値増加幅が大きい =Low Hanging Fruits コストをかけても 価値増加幅が小さい →プロダクトでカバー
18. © 2024 LayerX Inc. 18 ③お客さまを頼る LLMを実用水準に引き上げるためには適切な問題設計が重要。 適切な問題設計や改善のために、お客さまの業務・ドメインを深く理解するのはもちろんだが、 ドメインエキスパートであるお客さまの力を借りた方が効率的な部分もある。 • 既存業務の入出力ファイル・処理内容は何なのか、業務フローの整理 • どの部分・項目をシステムで出力すると業務が効率化されるのか • 入力のどこから抽出等しているか・正解データの作成 • データのバリエーションと分布はどうか • どこまで仮定を置いていいのか（ルールベース, 入力に応じてプロンプトを変更, etc.） • few-shotのサンプル用意 • どの部分は人手で行うことを許容できるのか...　　　　etc
19. © 2024 LayerX Inc. 19 お礼と宣伝 • 本日のトーク内容の大部分はフィードバックの受け売 りや業務の中で出てきた反省点と学びです。 豊富な学びの機会に感謝しています。 • 大きな市場・不確実性の高い技術のハンドリング・UX にこだわったプロダクト, etc. CTO・執行役員経験者やプロダクト開発経験者を間 近で見て学びながら、面白い問題に面白い技術で取 り組める貴重な環境です！ • Biz, エンジニア, デザイナー, インターン, 業務委託等 全方面で採用実施中です！ LayerX OpenDoorにていつでも誰でもカジュア ル面談できます！お気軽にお申し込みください！