AX時代のナレッジマネジメント.pdf

Transcript

1. AX時代のナレッジ活用 〜 RAGを使いこなすために〜 Kawabata Kazuki @ Goodpatch,inc
2. アジェンダ 1. 自己紹介 2. ナレッジを生かすとは？ 3. RAGとは？ 4. 優れたナレッジ検索エンジンをつくるコツ 5. 社内におけるAXの事例
3. 自己紹介 名前：川端 和樹 職業：エンジニア 経歴：ゲーム、マッチングアプリ、金融、広告と 様々な業界におけるエンジニア、EM経験を積んだ後 PdM、事業開発を経験。グッドパッチでは社長室に所属。
4. ナレッジ活用できてますか？
5. AX時代では、あらゆるプロセスが変わる 目的 作業主体 指標 作業効率化 /自動化 プロセスの再定義 人 生産性 精度・速度・コスト 人＋AI DX(Digital Transformation) AX(AI Transformation)
6. ナレッジ活用のプロセス 社内にある膨大なテキストの活用プロセスも変わる DX 1. 人が：探す 2. 人が：読み込む 3. 人が：わかる 4. 人が：活用する AX 1. AIが：探す 2. AIが：読み込む 3. AIが：わかる 4. AIが：まとめる 5. 人が：確認する 6. 人が：活用する ノ ウ ハ ウ 活 用 探す→活用するまでのプロセスが AIによって大きく変化
7. ナレッジマネジメント AX(AI Transformation)にチャレンジ中 • 今回はグッドパッチ社内に溢れる40,000件もの記事データを気軽に検索できる検 索エンジンを開発した経験から、RAG技術を使いこなすノウハウについてお話しし ます。
8. RAGについて
9. • RAG(検索拡張生成)：LLMの出力を、外部データを用いて最適化する技術 • ベクトル検索(類似検索の技術)を用いてベクトルデータベースを検索することで データを抽出する AX時代のナレッジマネジメント技術：RAG
10. 社内の膨大な記事データをRAG化してみたところ... 1. 検索精度が全然出ない: 記事が見つからない 2. 検索の速度が遅すぎる：1分待って結果がでる 3. フォーマット が毎回違う：期待するアウトプットで出しにくい
11. AXにおける重要な指標：精度、速度、コスト 精度 フォーマット、内容を期待したアウトプットを 100とした 時の評価 速度 プロンプト実行時に、 LLMがアウトプットを出すまでの リードタイム コスト プロンプト実行した際の LLM API実行コスト 1つのタスク・ 1つのプロンプト・ 1つのAPIだとトレードオフ構造
12. 優れたナレッジ検索エンジンを作るために
13. 社内の膨大な記事データをRAG化してみたところ... 1. 検索精度が全然出ない: 記事が見つからない 2. 検索の速度が遅すぎる：1分待って結果がでる 3. フォーマット が毎回違う：期待するアウトプットで出しにくい
14. ただRAG化しても何も解決されない 1. 記事検索の精度を上げるためにやったこと a. 記事データをベクトルデータベースに入れる前の「 前処理」 b. 記事データ検索のクエリを最適化する「 クエリ最適化」 2. 検索速度を上げるためにやったこと a. 検索処理を分割して最適化 3. アウトプットのフォーマット を揃えるためにやったこと a. 聞き方に応じたアウトプットの最適化
15. 前処理：記事データのデータエンジニアリング 1. すべての記事にタグ・カテゴリを設定 a. 人が目で確認するのは限界がある（ 40,000件) b. AIに「あなたはプロの編集者です。今からお渡しする記事の中身を読んで、以下のカテゴリ・タグを 正しく判定し、記事データのメタデータに書き込んでください」というプロンプトを作成 c. 全記事に適用 => すべての記事にタグづけ、カテゴリづけ 2. ベクトルデータベースに格納
16. 1. ユーザーが求めているのはどのトピックか？(前処理で入れたタグの判定) （例：振り返り？事例？ルール？...) 2. その上でいちばん重要そうなクエリはどれか？ (例: 福利厚生って何がある？ => 「福利厚生」) 3. 重要クエリで検索 => 結果が少なかったらセカンダリクエリの抽出.... 前処理と合わせて使用することでより精度の高いアウトプットが出るように クエリ最適化：精度改善
17. 検索高速化：ステップの細分化 1. クエリ最適化によってステップを細分化 2. それぞれは小さなモデルで実行 a. 細かいタスクなら小さいモデルでも精度がでる 3. 分割することでそれぞれの実行時間が圧縮 4. 進捗も可視化できる その結果、検索時間は 1分 => 10秒へ高速化（コストも 5分の1へ） (GPT4.1-mini => GPT4.1-nano)
18. 参考：モデルによるコスト差は数十倍 (OpenAI)
19. 1. RAG検索ではユーザーはテキストベースで検索してくる a. 例：福利厚生ってどんなものがあるんだっけ？ 2. 検索実行前にユーザーが何を求めているかを分析 a. 一覧を欲している？、選択肢を求めてる？ ..... 3. それぞれの聞き方に応じたフォーマットテンプレートを作成 4. 検索プロセス同様、テンプレートの選定と、当てはめをタスク分割してそれぞれ実行 上記の最適化で一貫したアウトプットフォーマットの実現が可能に フォーマット：ユーザーの聞き方を分析する
20. できたもの：ブラウザ拡張機能でいつでも検索を実現 1. 検索した結果を一覧で見れるように 2. オリジナルの情報（元記事）も表示 （1次情報もアウトプットして信頼性をあげる）
21. まとめ：AX時代もデータエンジニアリングは重要 1. データのユースケースを精査したうえでそこに特化したデータ作り 2. ユースケースに特化したプロンプトの最適化処理 3. 適切なモデル選定をタスク分割によるコストの最適化 上記の3点をしっかりやりきることで優れた RAGのシステム構築が可能
22. 社内における AXの事例
23. ナレッジ検索エンジン（ RAG＋ブラウザ拡張アプリ） ・社内ノウハウが見つかる ・求める答えを生成 ・いつでも見返せる 社内プロダクト AIペルソナ ・知りたいバーチャルペルソナを生成 ・聞いた履歴が残せる
24. AIネイティブな事業の立ち上げ Hrmony Layermate
25. AIネイティブな事業の立ち上げ Hrmony Layermate