Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
RAGを活用した動画学習コンテンツの推薦 ~実装の工夫と課題~
Search
Fumina Chihama
June 06, 2024
0
490
RAGを活用した動画学習コンテンツの推薦 ~実装の工夫と課題~
Fumina Chihama
June 06, 2024
Tweet
Share
More Decks by Fumina Chihama
See All by Fumina Chihama
Monoxer講演資料_書籍出版記念対談.pdf
fumina
0
53
DBの選び方LT
fumina
2
240
Azure OpenAI を活用して金融機関にお届けする LLM + RAG サービス
fumina
1
340
RAGの基本と最新技術動向
fumina
0
730
二刀流で切り開くRAG活用術
fumina
0
350
営業組織から「がんばっているのに売れない」 をなくす、たった1つの”急所”とは
fumina
1
130
事業の進化とデータ構造で苦しんだ話
fumina
0
220
香りECスタートアップにおける データの更新によって生まれた データ負債事例と学び
fumina
0
450
OWASPの歩き方
fumina
1
640
Featured
See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
The Invisible Side of Design
smashingmag
298
50k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
Building Better People: How to give real-time feedback that sticks.
wjessup
364
19k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Rails Girls Zürich Keynote
gr2m
94
13k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
16
2.1k
Code Review Best Practice
trishagee
64
17k
GitHub's CSS Performance
jonrohan
1030
460k
StorybookのUI Testing Handbookを読んだ
zakiyama
27
5.3k
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Transcript
RAGを活用した動画学習コンテンツの推薦 ~実装の工夫と課題 ~
自己紹介 エンジニア歴6年 AIベンダーなどで画像認識系のモデルを活用したソリューション開発などの経 験を経て、2022年3月にグロービスに入社。 主に学習コンテンツのレコメンドシステムの開発・運用を担当しています。 最近ではLLMを事業に活用するための開発や検証などにも取り組んでいま す。 趣味はチェロを弾くこと。 田邊健也 /
Tanabe Tatsuya 2
GLOBIS学び放題について 3 GLOBIS 学び放題は、10万人に選ばれたグロービス・マネジメント・スクールの 講義と、累計160万部発行『グロービスMBA』シリーズをベースに開発した、 動画の定額学び放題サービスです。 ビジネスの基礎からIT・DXなどの最新トレンドまで幅広い学びを提供します。 人材育成のプロが組織の成長に伴走
LLMを活用したチャットボット形式の動 画学習コース推薦機能 「学びナビ」 β版として2023/11月にWeb版限定でリリース 学びナビ( β版) 4
学びナビ( β版)という機能 1. なぜ作ったのか 2. どのように RAGを活用しているか 3. これからトライしていきたい課題 5
本日のお題
1. なぜ作ったのか
ユーザーの課題 7 もっと自信をつけたい 仕事ができる人になりたい 毎日仕事がつらい 仕事に関する曖昧な課題 を抱えている人は多い
ユーザーの課題 8 GLOBIS学び放題でまずは 頑張ってみるぞ!
ユーザーの課題 9 3,300コース以上の動画 が学び放題 最新のビジネスナレッジも 毎月70~100コース追加 たくさん動画があって、 どれが自分に合うのかわからない...
ユーザーの動画探し支援 ユーザーの学習行動に基づいて推薦を行う。 レコメンド機能 10 • そもそも課題を抱えていて学習ができていない ユーザーには刺さりづらい 曖昧な課題を抱えているユーザーにとっては・・・
ユーザーの動画探し支援 検索キーワードに対してヒットしたコース一覧を出す以外 にも、タグ検索やカテゴリ検索などの検索を支援する機 能も存在 検索機能 11 • 曖昧な課題を持ったユーザーが、曖昧なキーワードを 入力しても適したコースがヒットしない •
課題に合った検索キーワードを考えること自体が 難しい場合も 曖昧な課題を抱えているユーザーにとっては・・・
ユーザーの曖昧な課題に応えるには 12 ユーザー メンター もっと自信をつけたい
ユーザーの曖昧な課題に応えるには 13 ユーザー メンター もっと自信をつけたい まずはあなた自身の強みや好きなこ とについて理解しましょう。 それらを生かして実際に行動に移 し、成功体験を積み重ねていくことが 自信に繋がります。
ユーザーの曖昧な課題に応えるには 14 ユーザー メンター もっと自信をつけたい まずはあなた自身の強みや好きなこ とについて理解しましょう。 それらを生かして実際に行動に移 し、成功体験を積み重ねていくことが 自信に繋がります。
メンターからアドバイスを提示してもらい、曖昧な課題に対する解像度を高め、 具体的に何をやると良いかを示すことが重要。
LLMに任せられないか 15 ユーザー もっと自信をつけたい まずはあなた自身の強みや好きなこ とについて理解しましょう。 それらを生かして実際に行動に移 し、成功体験を積み重ねていくことが 自信に繋がります。 AI(LLM)
メンターからアドバイスを提示してもらい、曖昧な課題に対する解像度を高め、 具体的に何をやると良いかを示すことが重要。 →AI(LLM)に任せられないか?(ついでに動画推薦もできないか)
LLMを活用したチャットボット形式の動 画学習コース推薦機能 「学びナビ」 β版として2023/11月にWeb版限定でリリース 学びナビ( β版) 16
2. どのように RAGを活用しているのか
通常のRAGで実現する場合のイメージ 18 【事前準備】 LLMの回答に用いるコースの情報を参照できる ように、ベクトルデータベースを作っておく ユーザーの入力と関連するコース情報を データベースから抽出する LLMに渡すコンテキストにコース情報を付け加 えてプロンプトを作成する LLMに回答を生成させる
RAGを活用して実現したかったポイント その1 通常のRAGだと、ユーザーの入力をRetrievalのクエリとして使用する形になる。 しかし、ユーザーの入力は抽象度が高く、曖昧なものもあるため、良いRetrievalに繋がらない可能性が高 い。 ユーザーの曖昧な入力内容でも、良い推薦に繋げたい 19 ユーザーの入力に対して LLMが解像度を上げて解釈した生成結果を Retrievalに用いる ことで、曖昧な入力に対しても情報量が増え、良い
Retrievalに繋がるのではないか? このアプローチは以下の論文にある HyDE(Hypothetical Document Embeddings) というアプローチと同様の発想のものになります https://arxiv.org/abs/2212.10496
ユーザーの曖昧な入力内容でも、良い推薦に繋げたい 20 曖昧な課題を持ったユーザーが曖昧な キーワードのまま入力しても、適した コース抽出に繋がらない可能性がある ここがそもそも曖昧だと ここが適したものにならない
ユーザーの曖昧な入力内容でも、良い推薦に繋げたい 21 ユーザーの入力が曖昧でも、 LLMが解像度を上げて解釈した生成 結果を用いて Retrievalを行うようにす ることで対応 LLMが生成したアドバイスに基づいた コースの推薦にもつながる
RAGを活用して実現したかったポイント その 2 開発段階で、「入力、返答、推薦されたコースに一貫性があると、コースを見ようと思う。 」というフィード バックがあった。 また、一貫性を感じてもらえるかについては「なぜこのコースが推薦されたのか 」がユーザーに伝わって いるかどうかが重要であるという所感があった。 推薦コースに対して、納得感を持ってもらいたい 22
ユーザーの入力、 LLMが生成したアドバイス、抽出したコース情報を コンテキストとして与え、一貫性を持たせた推薦理由を生成させられないか
推薦コースに対して、納得感を持ってもらいたい 23 ユーザーの入力と、 LLMのアドバイス、抽出 された推薦コースの結果に対して、 ユーザーが納得感を持てるよう、 推薦理由を生成させるステップを追加
最終的な形 24 【事前準備】 LLMの回答に用いるコースの情報を参照できる ように、ベクトルデータベースを作っておく LLMの生成したアドバイス と関連するコース情報を データベースから抽出する LLMに渡すコンテキストに抽出したコース情報 を付け加えてプロンプトを作成する
LLMに推薦理由を生成させる ユーザーの入力に対し、 LLMに具体的なアドバ イスを生成させる
最終的な形 25 【事前準備】 LLMの回答に用いるコースの情報を参照できる ように、ベクトルデータベースを作っておく LLMの生成したアドバイス と関連するコース情 報を データベースから抽出する LLMに渡すコンテキストに抽出したコース情報
を付け加えてプロンプトを作成する LLMに推薦理由を生成させる ユーザーの入力に対し、 LLMに具体的なアドバ イスを生成させる
3. これからトライしていきたい課題
Retrievalの精度は改善の余地あり コースの情報はタイトルや概要文など、メタ寄りの情報のみ活用しているが、 動画の中身そのものの情報は活用できていない 。 →文字起こしデータの整備、要約データの作成 &整備を進めて、それらを活用できるようにしたい これからトライしたい課題 27
RAGシステムとしての評価を継続的に行いたい • 現状はやり取りのログ集計や簡易的な分析を行っているのみ • Retrievalがうまくいっているのかや、ユーザーの入力と推薦結果や生成結果との一貫性の評価などは 行えていない →定量的に観測していくための方法を模索してトライしていきたい これからトライしたい課題 28
• ユーザーの曖昧な課題に対するアドバイスと推薦コースを提示できるような機能を作るために LLM+RAGを活用した • 実現したいことを満たすため、以下のような形で RAGの仕組みを活用した ◦ ユーザーの入力内容に対する解像度を上げた解釈結果を LLMに生成させて、その結果をRetrievalに使用 ◦
ユーザーの入力、LLMが生成したアドバイス、抽出したコース情報をコンテキストとして与え、 一貫性を持たせた推薦理由を生成 • Retrievalの精度課題にも対応しつつ、継続的改善を行うための評価の仕組みも考えていきたい 今回ご紹介した機能については以下のテックマガジン記事でも紹介させていただいておりますので、 ぜひ読んでいただければ嬉しく思います。 https://note.com/globis_engineers/n/nb601f4bf6a57 まとめ 29
プロダクトや事業開発に関わる幅広い職種のメンバーを募集中です EdTech事業 シニアフロントエンドエンジニア EdTech事業 新規プロダクト フルスタックエンジニア EdTech事業 テクニカルアーキテクト EdTech事業 セキュリティエンジニア
研修事業を支える自社業務システムのプロダクトオーナー GLOBIS 学び放題 toB事業_営業企画・カスタマーサクセス HR-Tech SaaS事業 法人営業 HR-Tech SaaS事業 BizDev HR-Tech SaaS事業 プロダクトマネージャー ご応募お待ちしております! グロービスデジタルプラットフォーム部門では採用を強化中! 30
ご清聴ありがとうございました