AI の活用における課題と現状、 今後の期待 Asei Sugiyama

自己紹介 杉山 阿聖 (@K_Ryuichirou) Software Engineer @ Citadel AI Google Cloud Innovators Champion @ Cloud AI/ML MLSE 機械学習オペレーション WG mlops community 運営 機械学習図鑑 事例でわかる MLOps 共著 決闘者 @ マスターデュエル

TOC AI の活用の現状 <- Agent AI ガバナンス トレーニング

Eval-Centric AI

LLMOps の取り組み: 技術 プロンプトエンジニアリング LLM-as-a-Judge 継続的な評価 RAG オズの魔法使いパターン ユーザーテスト トレース ガードレール プロンプトのバージョン管理

LLMOps の取り組み: プロセス・文化 事例共有会 計測 学習する文化 セキュリティ Red Teaming AI ガバナンス

継続的な評価による継続的な改善

TOC AI の活用の現状 Agent <- AI ガバナンス トレーニング

Agent とは 画一的な定義がない Google Cloud のサービス としてもだいぶ混乱気味 Vertex AI Agent Builder | Google Cloud https://cloud.google.com/products/agent-builder

整理が進行中 Vertex AI Agent Engine（旧称 LangChain on Vertex AI、Vertex AI Reasoning Engine）は、デベロッパーが本番環境で AI エージェント をデプロイ、管理、スケーリングできるようにするフルマネージド サービスです。 Google Cloud Agent Engine は、本番環境でエージ ェントをスケーリングするインフラストラクチャを処理するた め、インテリジェントで効果的なアプリケーションの作成に集中 できます。Vertex AI エージェント エンジンは、次の機能を提供し ます。 Vertex AI Agent Engine の概要 | Generative AI | Google Cloud https://cloud.google.com/vertex-ai/generative-ai/docs/agent-engine/overview

Vertex AI Agent Engine LangChain on Vertex AI (だ った) 大力作のブログ記事 Gemini API / LangGraph / Agent Engine で LLM Agent を実装する https://zenn.dev/google_cloud_jp/articles/06cb259cc1d42d

Gen AI Evaluation Service ポイントワイズとペアワ イズの評価を提供 評価指標のカスタマイズ も可能 Gen AI Evaluation Service の概要 | Generative AI | Google Cloud https://cloud.google.com/vertex-ai/generative-ai/docs/models/evaluation- overview

Next への期待 Agent への評価 Agent の開発に関する知見の共有 マルチモーダル

Agent の評価 Gen AI Evaluation Service が対応しそうな雰囲気 Trace はもうちょっとなん とかなって欲しい Evaluate an agent | Generative AI | Google Cloud https://cloud.google.com/vertex-ai/generative-ai/docs/agent- engine/evaluate Trace an agent | Generative AI | Google Cloud https://cloud.google.com/vertex-ai/generative-ai/docs/agent- engine/manage/tracing

Agent の開発に関する 知見の共有 "プロンプトエンジニアリ ング"がどんどん発展して いる 現状、膨大な試行錯誤以 外の解決方法がない 試行錯誤を楽にする解決 策に期待 Overview of prompting strategies | Generative AI | Google Cloud https://cloud.google.com/vertex-ai/generative- ai/docs/learn/prompts/prompt-design-strategies

マルチモーダル 自然言語の評価が難しい ことは広く知られるよう になった 生成された画像の評価や 動画の評価が必要になる 評価を含めた活用のベス トプラクティスを期待 Gemini のマルチモーダル機能の 7 つの実例 - Google Developers Blog https://developers.googleblog.com/ja/7-examples-of-geminis-multimodal- capabilities-in-action/

TOC AI の活用の現状 Agent AI ガバナンス <- トレーニング

EU AI Act General-Purpose AI Code of Practice の third draft が 発行 着実に進んできている Third Draft of the General-Purpose AI Code of Practice published, written by independent experts | Shaping Europe’s digital future https://digital- strategy.ec.europa.eu/en/library/third-draft-general-purpose-ai-code- practice-published-written-independent-experts

ISO/IEC 42001:2023 マネジメント認証と呼ば れるもの Google Cloud, Google Workspace, Gemini などの サービスが認証を取得 Google Cloud の責任ある AI への取り組みが ISO/IEC 認証を取得 | Google Cloud 公式ブログ https://cloud.google.com/blog/ja/products/identity- security/google-clouds-commitment-to-responsible-ai-is-now-iso-iec- certified

Confirmation of certificate, Google LLC - IAF CertSearch https://www.iafcertsearch.org/certification/OeW1N2ZcriTbIoDbprECU97j

Secure AI Framework Google が公開した AI の安 全性に関するフレームワ ーク リスクアセスメントのた めのチェックリストも公 開している Secure AI Framework Approach A quick guide to implementing the Secure A Framework (SAIF) https://services.google.com/fh/files/blogs/google_secure_ai_framework_app

アジャイルガバナンス AI 事業者ガイドラインで はアジャイルガバナンス を重要視 リスクマネジメントに関 するISO 標準 (ISO 31000:2018)でもアジャイ ルの考え方を取り入れて いる AI事業者ガイドライン（第1.0版） （METI/経済産業省） https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/2024041

Next への期待 AIガバナンスを進めるた めのサービスやツールの 拡充 ISO 42001:2023 の取得に 関する詳細の共有 アジャイルガバナンスの 考え方を広めて欲しい Google Cloud の責任ある AI への取り組みが ISO/IEC 認証を取得 | Google Cloud 公式ブログ https://cloud.google.com/blog/ja/products/identity- security/google-clouds-commitment-to-responsible-ai-is-now-iso-iec- certified

TOC AI の活用の現状 Agent AI ガバナンス トレーニング <-

Skills Boost かなりの数の生成AIに関 するコースがある 日本語で受けられる Skills Boost 生成 AI トレーニング : 日本語を無償公開 | Google Cloud 公式ブ ログ https://cloud.google.com/blog/ja/topics/training-certifications/skills- boost-generative-ai-training-japanese-version-released

Next への期待 評価がない！ Gemini や Gemma の評価 をどうしているのか知り たい MLOps の延長ではなく、 機械学習モデルの訓練を 前提としないコースが欲 しい Gemma 3: Google’s new open model based on Gemini 2.0 https://blog.google/technology/developers/gemma-3/

まとめ 生成 AI の活用にあたっては新たな取り組みが必要 Agent の開発にかかる莫大な試行錯誤を楽にする発表に期待 Google Cloud は AI ガバナンスにおいて先陣を切っているため、ノ ウハウの共有を期待 生成 AI の活用では評価がとても大変なので、トレーニングやノウ ハウの共有を期待