RAGを活用した動画学習コンテンツの推薦 ~実装の工夫と課題 ~

自己紹介 エンジニア歴6年 AIベンダーなどで画像認識系のモデルを活用したソリューション開発などの経 験を経て、2022年3月にグロービスに入社。 主に学習コンテンツのレコメンドシステムの開発・運用を担当しています。 最近ではLLMを事業に活用するための開発や検証などにも取り組んでいま す。 趣味はチェロを弾くこと。 田邊健也 / Tanabe Tatsuya 2

GLOBIS学び放題について 3 GLOBIS 学び放題は、10万人に選ばれたグロービス・マネジメント・スクールの 講義と、累計160万部発行『グロービスMBA』シリーズをベースに開発した、 動画の定額学び放題サービスです。 ビジネスの基礎からIT・DXなどの最新トレンドまで幅広い学びを提供します。 人材育成のプロが組織の成長に伴走 
 


LLMを活用したチャットボット形式の動 画学習コース推薦機能 「学びナビ」 β版として2023/11月にWeb版限定でリリース 学びナビ（ β版） 4

学びナビ（ β版）という機能 1. なぜ作ったのか 2. どのように RAGを活用しているか 3. これからトライしていきたい課題 5 本日のお題

1. なぜ作ったのか

ユーザーの課題 7 もっと自信をつけたい 仕事ができる人になりたい 毎日仕事がつらい 仕事に関する曖昧な課題 を抱えている人は多い

ユーザーの課題 8 GLOBIS学び放題でまずは 頑張ってみるぞ！

ユーザーの課題 9 3,300コース以上の動画 が学び放題 最新のビジネスナレッジも 毎月70~100コース追加 たくさん動画があって、 どれが自分に合うのかわからない...

ユーザーの動画探し支援 ユーザーの学習行動に基づいて推薦を行う。 レコメンド機能 10 ● そもそも課題を抱えていて学習ができていない ユーザーには刺さりづらい 曖昧な課題を抱えているユーザーにとっては・・・

ユーザーの動画探し支援 検索キーワードに対してヒットしたコース一覧を出す以外 にも、タグ検索やカテゴリ検索などの検索を支援する機 能も存在 検索機能 11 ● 曖昧な課題を持ったユーザーが、曖昧なキーワードを 入力しても適したコースがヒットしない ● 課題に合った検索キーワードを考えること自体が 難しい場合も 曖昧な課題を抱えているユーザーにとっては・・・

ユーザーの曖昧な課題に応えるには 12 ユーザー メンター もっと自信をつけたい

ユーザーの曖昧な課題に応えるには 13 ユーザー メンター もっと自信をつけたい まずはあなた自身の強みや好きなこ とについて理解しましょう。 それらを生かして実際に行動に移 し、成功体験を積み重ねていくことが 自信に繋がります。

ユーザーの曖昧な課題に応えるには 14 ユーザー メンター もっと自信をつけたい まずはあなた自身の強みや好きなこ とについて理解しましょう。 それらを生かして実際に行動に移 し、成功体験を積み重ねていくことが 自信に繋がります。 メンターからアドバイスを提示してもらい、曖昧な課題に対する解像度を高め、 具体的に何をやると良いかを示すことが重要。

LLMに任せられないか 15 ユーザー もっと自信をつけたい まずはあなた自身の強みや好きなこ とについて理解しましょう。 それらを生かして実際に行動に移 し、成功体験を積み重ねていくことが 自信に繋がります。 AI（LLM） メンターからアドバイスを提示してもらい、曖昧な課題に対する解像度を高め、 具体的に何をやると良いかを示すことが重要。 →AI(LLM)に任せられないか？（ついでに動画推薦もできないか）

LLMを活用したチャットボット形式の動 画学習コース推薦機能 「学びナビ」 β版として2023/11月にWeb版限定でリリース 学びナビ（ β版） 16

2. どのように RAGを活用しているのか

通常のRAGで実現する場合のイメージ 18 【事前準備】 LLMの回答に用いるコースの情報を参照できる ように、ベクトルデータベースを作っておく ユーザーの入力と関連するコース情報を データベースから抽出する LLMに渡すコンテキストにコース情報を付け加 えてプロンプトを作成する LLMに回答を生成させる

RAGを活用して実現したかったポイント　その１ 通常のRAGだと、ユーザーの入力をRetrievalのクエリとして使用する形になる。 しかし、ユーザーの入力は抽象度が高く、曖昧なものもあるため、良いRetrievalに繋がらない可能性が高 い。 ユーザーの曖昧な入力内容でも、良い推薦に繋げたい 19 ユーザーの入力に対して LLMが解像度を上げて解釈した生成結果を Retrievalに用いる ことで、曖昧な入力に対しても情報量が増え、良い Retrievalに繋がるのではないか？ このアプローチは以下の論文にある HyDE(Hypothetical Document Embeddings) というアプローチと同様の発想のものになります https://arxiv.org/abs/2212.10496

ユーザーの曖昧な入力内容でも、良い推薦に繋げたい 20 曖昧な課題を持ったユーザーが曖昧な キーワードのまま入力しても、適した コース抽出に繋がらない可能性がある ここがそもそも曖昧だと ここが適したものにならない

ユーザーの曖昧な入力内容でも、良い推薦に繋げたい 21 ユーザーの入力が曖昧でも、 LLMが解像度を上げて解釈した生成 結果を用いて Retrievalを行うようにす ることで対応 LLMが生成したアドバイスに基づいた コースの推薦にもつながる

RAGを活用して実現したかったポイント　その 2 開発段階で、「入力、返答、推薦されたコースに一貫性があると、コースを見ようと思う。 」というフィード バックがあった。 また、一貫性を感じてもらえるかについては「なぜこのコースが推薦されたのか 」がユーザーに伝わって いるかどうかが重要であるという所感があった。 推薦コースに対して、納得感を持ってもらいたい 22 ユーザーの入力、 LLMが生成したアドバイス、抽出したコース情報を コンテキストとして与え、一貫性を持たせた推薦理由を生成させられないか

推薦コースに対して、納得感を持ってもらいたい 23 ユーザーの入力と、 LLMのアドバイス、抽出 された推薦コースの結果に対して、 ユーザーが納得感を持てるよう、 推薦理由を生成させるステップを追加

最終的な形 24 【事前準備】 LLMの回答に用いるコースの情報を参照できる ように、ベクトルデータベースを作っておく LLMの生成したアドバイス と関連するコース情報を データベースから抽出する LLMに渡すコンテキストに抽出したコース情報 を付け加えてプロンプトを作成する LLMに推薦理由を生成させる ユーザーの入力に対し、 LLMに具体的なアドバ イスを生成させる

最終的な形 25 【事前準備】 LLMの回答に用いるコースの情報を参照できる ように、ベクトルデータベースを作っておく LLMの生成したアドバイス と関連するコース情 報を データベースから抽出する LLMに渡すコンテキストに抽出したコース情報 を付け加えてプロンプトを作成する LLMに推薦理由を生成させる ユーザーの入力に対し、 LLMに具体的なアドバ イスを生成させる

3. これからトライしていきたい課題

Retrievalの精度は改善の余地あり コースの情報はタイトルや概要文など、メタ寄りの情報のみ活用しているが、 動画の中身そのものの情報は活用できていない 。 →文字起こしデータの整備、要約データの作成 &整備を進めて、それらを活用できるようにしたい これからトライしたい課題　 27

RAGシステムとしての評価を継続的に行いたい ● 現状はやり取りのログ集計や簡易的な分析を行っているのみ ● Retrievalがうまくいっているのかや、ユーザーの入力と推薦結果や生成結果との一貫性の評価などは 行えていない →定量的に観測していくための方法を模索してトライしていきたい これからトライしたい課題　 28

● ユーザーの曖昧な課題に対するアドバイスと推薦コースを提示できるような機能を作るために LLM+RAGを活用した ● 実現したいことを満たすため、以下のような形で RAGの仕組みを活用した ○ ユーザーの入力内容に対する解像度を上げた解釈結果を LLMに生成させて、その結果をRetrievalに使用 ○ ユーザーの入力、LLMが生成したアドバイス、抽出したコース情報をコンテキストとして与え、 一貫性を持たせた推薦理由を生成 ● Retrievalの精度課題にも対応しつつ、継続的改善を行うための評価の仕組みも考えていきたい 今回ご紹介した機能については以下のテックマガジン記事でも紹介させていただいておりますので、 ぜひ読んでいただければ嬉しく思います。 https://note.com/globis_engineers/n/nb601f4bf6a57 まとめ　 29

プロダクトや事業開発に関わる幅広い職種のメンバーを募集中です EdTech事業　シニアフロントエンドエンジニア 
 EdTech事業　新規プロダクト　フルスタックエンジニア 
 EdTech事業 テクニカルアーキテクト 
 EdTech事業 セキュリティエンジニア 
 研修事業を支える自社業務システムのプロダクトオーナー 
 GLOBIS 学び放題 toB事業_営業企画・カスタマーサクセス 
 HR-Tech SaaS事業 法人営業 
 HR-Tech SaaS事業 BizDev 
 HR-Tech SaaS事業　プロダクトマネージャー 
 
 ご応募お待ちしております！ 
 
 グロービスデジタルプラットフォーム部門では採用を強化中！ 30

ご清聴ありがとうございました