【図解】大規模言語モデル基礎① ファインチューニングとRAGの違いと使い分け

2024年4月に使用した、LLM超入門スライドの一部です。
LLM（大規模言語モデル）の基本について、入門者や非エンジニアの企業担当者様向けに可能な限りわかりやすくまとめてみました。

会社HP：
https://www.izai.co.jp/

Googleスライド：
https://docs.google.com/presentation/d/1lBdafqecUmsEwRInK4v5-8nZa9n6DjdO/edit?usp=sharing&ouid=100664251827640690524&rtpof=true&sd=true

Transcript

1. ⾮エンジニアのための LLMの基本① LLM（⼤規模⾔語モデル）とは LLMに追加でデータを学習させる⽅法
2. LLM（⼤規模⾔語モデル）とは 2
3. LLM（⼤規模⾔語モデル）とは LLM（⼤規模⾔語モデル）とは、⼤量のテキストデータを学習させた深層学習モデル。精度と効率良 く”次単語予測”が可能で、要約や翻訳、⽂章の分析、⾃然な⽂の⽣成ができる ⼤量の テキストデータ Wikipedia, ニュース記事, ブログなど LLM （⼤規模⾔語モデル） 学習 ⽂章を⽣成 ChatGPTなどの ⽣成AIアプリ 3
4. LLM（⼤規模⾔語モデル）の仕組み 4
5. LLM（⼤規模⾔語モデル）の仕組み 吾輩 は 猫 で ある 。 名前 は LLM（⼤規模⾔語モデル） LLM（⼤規模⾔語モデル）は、⼤量の⽂章から”次単語予測”を効率的に⾏なっている ミケ 25% まだ 50% 佐藤 10% 夏⽬ 5.0% 彼 2.0% … ⽂脈（コンテクスト）から、もっとも確率が⾼い次の単語を計算して出⼒する。 これを繰り返して⽂章を⽣成する。 ⽂脈（コンテクスト）： 5
6. LLMに出来ること・出来ないこと 6
7. ◯ ⼀般常識については回答できる ✖ 最新情報や専⾨的な情報については回答できない LLM（⼤規模⾔語モデル）はその仕組み上、学習時のデータセットに含まれていない情報や計算問題については 回答できない 出来ること 出来ないこと • ⼀般知識に基づく回答 • ⼀般的なプログラムコードの⽣成 • 要約、翻訳、校正 • データ整形、抽出 • 最新情報 • 企業内情報や専⾨的な情報など、 学習していない情報 • 記号や数字についての処理 • 完全に独創的なアイディア出し 7
8. LLMに追加でデータを学習させる⽅法 8
9. RAG 読み⽅: ラグ vs fine-tuning 読み⽅: ファインチューニング 社内データなど、追加でデータを学習させる⼿法には⼤きくfine-tuningとRAGと呼ばれる⼆つの⼿法がある LLMに追加でデータを学習させる2つの⽅法 9
10. fine-tuingとは 10
11. 追加したい情報 fine-tuningはモデル⾃体を追加学習させる⼿法 既存のLLMに追加データを学習させること。LLMのパラメータの⼀部を変更・追加している ⼤量のデータを学習させる 元のLLM ⼤量のデータによって パラメータが決定されている fine-tuning済LLM 追加したデータについても 答えられるようになる ※fine-tuningには、”破壊的忘却”（元々答えられた内容が答えられなくなること）が起こるリスクがあります 11
12. RAGとは 12
13. RAG（Retrieval-Augmented Generation）は外部データを参照する⼿法 LLMが知らない知識や最新情報を”参照”して回答する⼿法。 社内専⽤データを検索したりインターネット上を検索したりできる LLM ⼤規模⾔語モデル データベース等 ユーザー ② 検索する ③ 検索結果を返す 13
14. 社内情報を回答させるには fine-tuning vs RAG どちらが良いか 14
15. fine-tuning RAG 開発コスト 低め 対話形式に整形したデータを アップロードするだけで完了する 低い〜高い DB開発や検索アルゴリズムの実装など 精度向上に際限はない 回答の正確さ 低め 追加データが少ないと正しく回答できない。 破壊的忘却によってLLM自体の精度が低下する 高め 生成時に正しい情報を参照するため 複雑な文構造でない限り正しく回答できる 回答スピード 速い LLM単体で完結するため高速 遅い 検索処理によって遅くなる Web検索をする場合はネットワークの遅延も影響する 利用例 ・口調や出力形式を調整したいケース ・電話など回答速度が必要なケース ・大量のデータを参照したいケース ・精度や出典明記が必要なケース RAG vs fine-tuning → 正確な回答が期待できるRAGが有効 多くの場合、RAGの⽅が直接データを読んで回答するので内容が正確。 ただし速度が重要な場⾯などではfine-tuningが採⽤されることもあります ↑ 多くの場⾯で有効 15
16. まとめ LLMに社内データを回答させるにはRAGが有効 次回は RAG について、詳しく解説します 本スライドについてのお問い合わせはこちら: info@izai.co.jp 16