新たな学習体験を作り、ユーザーの学習を支援するAIエージェント開発への挑戦

12/10(水)AIエージェント実装の壁と突破口〜プロダクト実装の実践知〜での発表内容です。
グロービスがAIエージェントを実装したうえでの難所や取り組みについて田邊がプレゼンテーションを実施しました。

Transcript

1. 新たな学習体験を作りユーザーの学習を支援する AIエージェント開発への挑戦 株式会社グロービス / Globis 田邊健也 / Tanabe Tatsuya Ver 1.0 Brand Management Team
2. 田邊健也 / Tanabe Tatsuya シニア機械学習エンジニア@グロービス株式会社 東京大学 計数工学科卒 SNSのデータから行列分解を用いたトピック検出を行う手法について卒業研 究を行なった。 AIベンダーなどで 画像認識系のモデルを用いたソリューション開発を行うエ ンジニアのキャリアを経て、2022年3月にグロービスに入社。 主に学習コンテンツのレコメンドシステムの開発・運用を担当。 最近では LLMを事業に活用するための開発や実験などにも取り組んでいま す。 趣味はチェロを弾くこと。 自己紹介
3. 1. なぜAIエージェント開発に挑戦するのか 2. AIエージェント開発の実践知 3. 今後の運用における課題と展望/まとめ 3 本日お話しする内容
4. なぜAIエージェント開発に挑戦するのか 4
5. GLOBIS学び放題について 5 GLOBIS 学び放題は、10万人に選ばれたグロービス・マネジメント・スクールの 講義と、累計160万部発行『グロービスMBA』シリーズをベースに開発した、 動画の定額学び放題サービスです。 ビジネスの基礎からAI・DXなどの最新トレンドまで幅広い学びを提供します。 人材育成のプロが組織の成長に伴走 
 

6. ユーザーの学習に対するの3つの課題 1. 理解・定着の課題 : 「わからない」「理解が十分できていない」 2. 実践応用の課題 : 「自分の仕事にどう活かせばいいかわからない」 3. モチベーションの課題 :「学習が続かない」 ユーザーの学習に関する課題 ユーザーひとり一人がこれらの課題を乗り越え、学習効果を最大化できる よう、AIが支援し伴走する学習体験を提供できないか
7. 学びエージェント 7 • 「GLOBIS 学び放題」ユーザーの学習の全行程を支 援するパーソナル AIアシスタント • 学習効果の最大化 とモチベーションの維持 を サポートする • 2025/11に第一段として、動画学習における理解と 実践力を高めるための支援を行う、対話型チャット 機能をリリース 詳細については下記プレスリリースをぜひご覧ください https://prtimes.jp/main/html/rd/p/000000196.000052928.html
8. 開発~リリースまでの流れ 学びエージェント
9. どのような学習支援を行うのか 9 実現したいこと 動画学習を支援するAIアシスタントとして、ユーザーの状況に応じて、 以下の4種類の支援を適切に提供したい。
10. ユーザーの学習を支援するAIアシスタントの実現には、動画の中身に対して回答するだけの単なる Q&Aシステムではない、高度な「状況判断」と「行動選択」 が必要。 • ユーザーの状況や質問の意図を理解し、適切な支援タイプを判断する。 • 判断結果に基づいて、最適な情報提供や問いかけを行う。 ⇨このような「自律的な振る舞い」 を実現するためには、 「AIエージェント」という形で実装すべきなのではないかと考えた。 なぜAIエージェント？
11. AIエージェント開発の実践知 11
12. AIエージェント開発で向き合った課題と実践 課題1: 設計・実装の課題 複雑で細かい要件を、どうやって信頼性と拡張性の 高い実装に落とし込むか？ 課題2: 評価・改善の課題 AIの「良い感じ」のアウトプットを目指すために、 どのように評価し、効率的に改善していくか？
13. AIエージェント開発で向き合った課題と実践 課題1: 設計・実装の課題 複雑で細かい要件を、どうやって信頼性と拡張性の 高い実装に落とし込むか？ 課題2: 評価・改善の課題 AIの「良い感じ」のアウトプットを目指すために、 どのように評価し、効率的に改善していくか？
14. ワークフローによるタスク分解 課題: 複雑な要件を、どのようにして信頼性と拡張性の高い実装に落とし込むか？ 少なくとも、単一のプロンプトで対応するのは厳しそう • それぞれの支援タイプごとに、詳細な役割定 義、指示、サンプル回答が定義されている。 • また、全体的に従うべき指示（対応しないこ と、アウトプットの形式、トーン など）も存在。 • さらに追加で要件が加わる可能性もあり。
15. ワークフローによるタスク分解 課題: 複雑な要件を、どのようにして信頼性と拡張性の高い実装に落とし込むか？ アプローチ : 単純なタスクに分解し、処理の流れ（ワークフロー）を設計・実装
16. ワークフローによるタスク分解 ワークフロー化によってもたらされる主なメリット 1. 開発効率と保守性の向上 2. 信頼性と精度の担保 3. 拡張性の確保
17. ワークフローによるタスク分解 ワークフローを構 成する タスクをそれ ぞれ個別に捉えて 開発に集中するこ とができ、デバッグも 容 易 になる。 分類タスクなどは定量評価が可能に なり、指標に基づいた客観的な改善 が可能になる。 タスクの結果に応じ動的にコンテキ ストを連携できるようになり、より柔 軟で高精度な回答を生成できるよう に。 機能のモジュール化によって、 細かい要件に沿った 機能の追加・変 更が容易に ワークフロー化によってもたらされる主なメリット 1. 開発効率と保守性の向上 2. 信頼性と精度の 担保 3. 拡張性の確保
18. AIエージェント開発で向き合った課題と実践 課題1: 設計・実装の課題 複雑で細かい要件を、どうやって信頼性と拡張性の 高い実装に落とし込むか？ 課題2: 評価・改善の課題 AIの「良い感じ」のアウトプットを目指すために、 どのように評価し、効率的に改善していくか？
19. 課題: 「ユーザーの入力に対し、適切な支援を行う」精度をどう上げるか？ 定量評価と定性評価のバランス アプローチ : ドメイン知識を反映した検証用データを用意し、そこに対する定量評価に基づいた改善を行う。
20. データ準備 ソースデータ作成 ユーザーが動画学習後に行う振り返り投稿の内容を参考 に、LLMによる合成データ生成 +人手によって、 想定入力サンプルを作成。 分類タスクにおける定量評価の事例 データキュレーション データの品質チェックを行いながら、 対応する支援タイプごとに均等にデータが存在するよう選 定を実施。
21. アノテーション作業 指示書の作成 アノテーションを依頼するにあたり、共通の判断基準を設 けるためにアノテーション指示書を作成。 分類タスクにおける定量評価の事例 アノテーション作業 指示書を見ながら、Google Formに回答していただく形で アノテーション作業が完結するようにし、事業ドメインに精 通している社内の複数チームの方に作業を依頼。
22. 品質担保（検証データセット化） 品質チェック&フィルタリング アノテーション作業者間のラベル付与の結果が一致して いる度合いを、Kappaスコアなどいくつかの指標を設けて スコア化し、一致度合いが高いもの =高品質のラベルとし て検証データに採用する。 分類タスクにおける定量評価の事例 データ拡張作業 品質の担保されたラベル付データを元に、アップサンプリ ングを行い、検証用データとして適度なサイズ （100件）になるように調整。
23. 精度改善（オフライン評価） 検証用データに対して分類タスクの評価指標に基づき、 いくつかのプロンプトのパターンを試し、スコアが最も良いものを 採用。 分類タスクにおける定量評価の事例
24. 課題: 「ユーザーの入力に対し、適切な支援を行う」精度をどう上げるか？ 分類タスクにおける定量評価の事例 結果 少量の高品質なドメイン知識を反映したデータ（ 100件程度）を丁寧に準備し、定量評価の仕組みを 作ることで、改善の試行回数を効率良く重ねられ、最終的には定性的な改善にもつながった。 アプローチ : 以下のステップで、ドメイン知識を反映した検証用データを用意し、そこを基準に改善を行う。
25. • ユースケース固有の細かい要件や気になるところは開発チーム内で動作確認を行いながら洗い出し、 「必ず満たしたいレベル」と「一旦許容するレベル」を定めて、優先度の高いものから重点的に改善を行う。 ⇨詳細な実装内容を把握した上で、様々なトレードオフを考慮しながら行う必要があるため、開発担当のエンジニアが基本全ての プロンプトやコンテキストの調整を行う体制で進めた。 • ユースケースにとらわれないAI Safetyに関するチェックはQAチームに協力してもらい、 問題箇所があれば報告していただく体制で進めた。 定量評価と定性評価のバランス 課題: 生成される回答に対しては「良い感じになっているか」という定性評価を行う必要性が残る アプローチ : 開発初期のタイミングでは、主観的で定性的な評価を効率良く実施する体制を意識 学び 開発初期はスピードが重要。 定性評価の部分は、完璧を目指さず、少人数の主観で割り切ることも大切。
26. 今後の運用における課題と展望 /まとめ 26
27. リリース後、データに基づいた継続的な改善をいかに適切に、効率良く行っていくかが鍵となる 今後の運用における課題と展望 会話ログ・ユーザーフィードバックの活用 : AIエージェントとの会話ログやポジネガフィードバックを収集・分析し、改善点を特定。 検証データセットの拡充 : 実際のユーザー入力に基づき、評価の基準となるデータセットを継続的にアップデート。 定性評価の定量化 : リリースまでのスピード重視のフェーズでは少人数の定性評価メインでやっていたが、ここも客観的な評価を行えるよう、 LLM-as-a-judgeなどの手法も活用し、定量的な評価を行えるようアップデートすることを目指したい。 評価の仕組みの自動化と効率化にも繋げていきたい。 トレーシングの重要性 : ワークフローが拡張される未来も見据え、LangSmithのようなトレーシングツールの導入し、監視機能も強化する。 定性的にアウトプットを確認することも一定の割合で継続していけるように。
28. AIエージェント開発で得た 3つの実践知 まとめ 複雑な要件は、単純なタスクに分解 し、ワークフローを構成することで、 開発効率・品質・拡張性を高められ る。 定量評価可能な所はちゃんとデータ を集め、定量評価できるようにする。 結果的にそれが改善への最短ルー トになり、ドメイン固有の価値にも繋 がる。 初期は定性評価メインでスピードを 重視し、リリース後はフィードバック データなどを活用した定量評価の割 合を増やして改善の起点とし、品質 をスケールさせていく。 1. 要件を主要なタスクに分解 2.定量評価をちゃんとやる 3. フェーズに応じた評価戦略
29. ご清聴ありがとうございました。