Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
RAGを活用した動画学習コンテンツの推薦 ~実装の工夫と課題~
Search
Fumina Chihama
June 06, 2024
0
440
RAGを活用した動画学習コンテンツの推薦 ~実装の工夫と課題~
Fumina Chihama
June 06, 2024
Tweet
Share
More Decks by Fumina Chihama
See All by Fumina Chihama
DBの選び方LT
fumina
2
230
Azure OpenAI を活用して金融機関にお届けする LLM + RAG サービス
fumina
1
310
RAGの基本と最新技術動向
fumina
0
670
二刀流で切り開くRAG活用術
fumina
0
330
営業組織から「がんばっているのに売れない」 をなくす、たった1つの”急所”とは
fumina
1
130
事業の進化とデータ構造で苦しんだ話
fumina
0
210
香りECスタートアップにおける データの更新によって生まれた データ負債事例と学び
fumina
0
450
OWASPの歩き方
fumina
1
630
位置情報データをコスト最適化しつつ 分析に活かすための データ管理と運用方法について
fumina
1
590
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.2k
Scaling GitHub
holman
458
140k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
167
49k
Raft: Consensus for Rubyists
vanstee
136
6.6k
The World Runs on Bad Software
bkeepers
PRO
65
11k
We Have a Design System, Now What?
morganepeng
50
7.2k
Designing the Hi-DPI Web
ddemaree
280
34k
Designing on Purpose - Digital PM Summit 2013
jponch
115
6.9k
Building Applications with DynamoDB
mza
90
6.1k
What's in a price? How to price your products and services
michaelherold
243
12k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Practical Orchestrator
shlominoach
186
10k
Transcript
RAGを活用した動画学習コンテンツの推薦 ~実装の工夫と課題 ~
自己紹介 エンジニア歴6年 AIベンダーなどで画像認識系のモデルを活用したソリューション開発などの経 験を経て、2022年3月にグロービスに入社。 主に学習コンテンツのレコメンドシステムの開発・運用を担当しています。 最近ではLLMを事業に活用するための開発や検証などにも取り組んでいま す。 趣味はチェロを弾くこと。 田邊健也 /
Tanabe Tatsuya 2
GLOBIS学び放題について 3 GLOBIS 学び放題は、10万人に選ばれたグロービス・マネジメント・スクールの 講義と、累計160万部発行『グロービスMBA』シリーズをベースに開発した、 動画の定額学び放題サービスです。 ビジネスの基礎からIT・DXなどの最新トレンドまで幅広い学びを提供します。 人材育成のプロが組織の成長に伴走
LLMを活用したチャットボット形式の動 画学習コース推薦機能 「学びナビ」 β版として2023/11月にWeb版限定でリリース 学びナビ( β版) 4
学びナビ( β版)という機能 1. なぜ作ったのか 2. どのように RAGを活用しているか 3. これからトライしていきたい課題 5
本日のお題
1. なぜ作ったのか
ユーザーの課題 7 もっと自信をつけたい 仕事ができる人になりたい 毎日仕事がつらい 仕事に関する曖昧な課題 を抱えている人は多い
ユーザーの課題 8 GLOBIS学び放題でまずは 頑張ってみるぞ!
ユーザーの課題 9 3,300コース以上の動画 が学び放題 最新のビジネスナレッジも 毎月70~100コース追加 たくさん動画があって、 どれが自分に合うのかわからない...
ユーザーの動画探し支援 ユーザーの学習行動に基づいて推薦を行う。 レコメンド機能 10 • そもそも課題を抱えていて学習ができていない ユーザーには刺さりづらい 曖昧な課題を抱えているユーザーにとっては・・・
ユーザーの動画探し支援 検索キーワードに対してヒットしたコース一覧を出す以外 にも、タグ検索やカテゴリ検索などの検索を支援する機 能も存在 検索機能 11 • 曖昧な課題を持ったユーザーが、曖昧なキーワードを 入力しても適したコースがヒットしない •
課題に合った検索キーワードを考えること自体が 難しい場合も 曖昧な課題を抱えているユーザーにとっては・・・
ユーザーの曖昧な課題に応えるには 12 ユーザー メンター もっと自信をつけたい
ユーザーの曖昧な課題に応えるには 13 ユーザー メンター もっと自信をつけたい まずはあなた自身の強みや好きなこ とについて理解しましょう。 それらを生かして実際に行動に移 し、成功体験を積み重ねていくことが 自信に繋がります。
ユーザーの曖昧な課題に応えるには 14 ユーザー メンター もっと自信をつけたい まずはあなた自身の強みや好きなこ とについて理解しましょう。 それらを生かして実際に行動に移 し、成功体験を積み重ねていくことが 自信に繋がります。
メンターからアドバイスを提示してもらい、曖昧な課題に対する解像度を高め、 具体的に何をやると良いかを示すことが重要。
LLMに任せられないか 15 ユーザー もっと自信をつけたい まずはあなた自身の強みや好きなこ とについて理解しましょう。 それらを生かして実際に行動に移 し、成功体験を積み重ねていくことが 自信に繋がります。 AI(LLM)
メンターからアドバイスを提示してもらい、曖昧な課題に対する解像度を高め、 具体的に何をやると良いかを示すことが重要。 →AI(LLM)に任せられないか?(ついでに動画推薦もできないか)
LLMを活用したチャットボット形式の動 画学習コース推薦機能 「学びナビ」 β版として2023/11月にWeb版限定でリリース 学びナビ( β版) 16
2. どのように RAGを活用しているのか
通常のRAGで実現する場合のイメージ 18 【事前準備】 LLMの回答に用いるコースの情報を参照できる ように、ベクトルデータベースを作っておく ユーザーの入力と関連するコース情報を データベースから抽出する LLMに渡すコンテキストにコース情報を付け加 えてプロンプトを作成する LLMに回答を生成させる
RAGを活用して実現したかったポイント その1 通常のRAGだと、ユーザーの入力をRetrievalのクエリとして使用する形になる。 しかし、ユーザーの入力は抽象度が高く、曖昧なものもあるため、良いRetrievalに繋がらない可能性が高 い。 ユーザーの曖昧な入力内容でも、良い推薦に繋げたい 19 ユーザーの入力に対して LLMが解像度を上げて解釈した生成結果を Retrievalに用いる ことで、曖昧な入力に対しても情報量が増え、良い
Retrievalに繋がるのではないか? このアプローチは以下の論文にある HyDE(Hypothetical Document Embeddings) というアプローチと同様の発想のものになります https://arxiv.org/abs/2212.10496
ユーザーの曖昧な入力内容でも、良い推薦に繋げたい 20 曖昧な課題を持ったユーザーが曖昧な キーワードのまま入力しても、適した コース抽出に繋がらない可能性がある ここがそもそも曖昧だと ここが適したものにならない
ユーザーの曖昧な入力内容でも、良い推薦に繋げたい 21 ユーザーの入力が曖昧でも、 LLMが解像度を上げて解釈した生成 結果を用いて Retrievalを行うようにす ることで対応 LLMが生成したアドバイスに基づいた コースの推薦にもつながる
RAGを活用して実現したかったポイント その 2 開発段階で、「入力、返答、推薦されたコースに一貫性があると、コースを見ようと思う。 」というフィード バックがあった。 また、一貫性を感じてもらえるかについては「なぜこのコースが推薦されたのか 」がユーザーに伝わって いるかどうかが重要であるという所感があった。 推薦コースに対して、納得感を持ってもらいたい 22
ユーザーの入力、 LLMが生成したアドバイス、抽出したコース情報を コンテキストとして与え、一貫性を持たせた推薦理由を生成させられないか
推薦コースに対して、納得感を持ってもらいたい 23 ユーザーの入力と、 LLMのアドバイス、抽出 された推薦コースの結果に対して、 ユーザーが納得感を持てるよう、 推薦理由を生成させるステップを追加
最終的な形 24 【事前準備】 LLMの回答に用いるコースの情報を参照できる ように、ベクトルデータベースを作っておく LLMの生成したアドバイス と関連するコース情報を データベースから抽出する LLMに渡すコンテキストに抽出したコース情報 を付け加えてプロンプトを作成する
LLMに推薦理由を生成させる ユーザーの入力に対し、 LLMに具体的なアドバ イスを生成させる
最終的な形 25 【事前準備】 LLMの回答に用いるコースの情報を参照できる ように、ベクトルデータベースを作っておく LLMの生成したアドバイス と関連するコース情 報を データベースから抽出する LLMに渡すコンテキストに抽出したコース情報
を付け加えてプロンプトを作成する LLMに推薦理由を生成させる ユーザーの入力に対し、 LLMに具体的なアドバ イスを生成させる
3. これからトライしていきたい課題
Retrievalの精度は改善の余地あり コースの情報はタイトルや概要文など、メタ寄りの情報のみ活用しているが、 動画の中身そのものの情報は活用できていない 。 →文字起こしデータの整備、要約データの作成 &整備を進めて、それらを活用できるようにしたい これからトライしたい課題 27
RAGシステムとしての評価を継続的に行いたい • 現状はやり取りのログ集計や簡易的な分析を行っているのみ • Retrievalがうまくいっているのかや、ユーザーの入力と推薦結果や生成結果との一貫性の評価などは 行えていない →定量的に観測していくための方法を模索してトライしていきたい これからトライしたい課題 28
• ユーザーの曖昧な課題に対するアドバイスと推薦コースを提示できるような機能を作るために LLM+RAGを活用した • 実現したいことを満たすため、以下のような形で RAGの仕組みを活用した ◦ ユーザーの入力内容に対する解像度を上げた解釈結果を LLMに生成させて、その結果をRetrievalに使用 ◦
ユーザーの入力、LLMが生成したアドバイス、抽出したコース情報をコンテキストとして与え、 一貫性を持たせた推薦理由を生成 • Retrievalの精度課題にも対応しつつ、継続的改善を行うための評価の仕組みも考えていきたい 今回ご紹介した機能については以下のテックマガジン記事でも紹介させていただいておりますので、 ぜひ読んでいただければ嬉しく思います。 https://note.com/globis_engineers/n/nb601f4bf6a57 まとめ 29
プロダクトや事業開発に関わる幅広い職種のメンバーを募集中です EdTech事業 シニアフロントエンドエンジニア EdTech事業 新規プロダクト フルスタックエンジニア EdTech事業 テクニカルアーキテクト EdTech事業 セキュリティエンジニア
研修事業を支える自社業務システムのプロダクトオーナー GLOBIS 学び放題 toB事業_営業企画・カスタマーサクセス HR-Tech SaaS事業 法人営業 HR-Tech SaaS事業 BizDev HR-Tech SaaS事業 プロダクトマネージャー ご応募お待ちしております! グロービスデジタルプラットフォーム部門では採用を強化中! 30
ご清聴ありがとうございました