あうもんと学ぶGenAIOps

by gree_tech

Slide 1

Slide 1 text

あうもんと学ぶGenAIOps グリーエックス社 AIX推進室長安立健人

Slide 2

Slide 2 text

安立健人 / @ken11 Glossom、MoneyForwardなどを経て2025年より再度GREE X（旧Glossom）に復帰現在はグリーエックス株式会社でAIのプロダクト実装を推進 NLPを中心に機械学習モデルの作成からデプロイ運用まで一気通貫のスペシャリスト 2022年にラスベガスで行われたAWS re:Inventに登壇グリーエックス社 AIX推進室長 2

Slide 3

Slide 3 text

あうもんとは？「あうもんAI」は、グリーエックスが提供する店舗支援ソリューション「aumo Biz」や「QUANT for Shops」といったマーケティング支援サービスの運用をAIが代替することで、工数負荷を最小限に抑えながら、最適な集客効果を引き出すAIエージェントです。各サービスの利用時に、店舗事業者の皆様が使い慣れたLINEにて機能を提供していきます。 3

Slide 4

Slide 4 text

目次・アジェンダ ● GenAIOpsってなに？ ● GenAIOpsにおける7つの要素 ○ アプリケーション開発 ○ 外部データの管理 ○ インプットの前処理 ○ プロンプトのデザイン ○ 外部リソースの接続管理 ○ アウトプットの評価 ○ フィードバックループ ● まとめ 4

Slide 5

Slide 5 text

GenAIOpsってなに？ 5

Slide 6

Slide 6 text

LLMOps GenAIOps 対象モデル運用（MLOpsの延長）体験全体要素データモデルプロンプトツール接続 UX 指標モデル指標体験品質（SLO/コスト/安全性） GenAIOpsってなに？ GenAIOps = モデル運用の外側まで含めた「生成体験の運用」 6 諸説あるもん。まだ新しい概念だもん！

Slide 7

Slide 7 text

GenAIOpsにおける7つの要素 7

Slide 8

Slide 8 text

GenAIOpsにおける7つの要素 8 アプリ開発前処理外部データプロンプトツール接続評価 FBループ

Slide 9

Slide 9 text

アプリケーション開発 ● 非同期化： APIは 202＋jobId 返却／SQSでキュー管理 ● 冪等・再実行：自動リトライ／DLQ ● 観測性： jobId で横断追跡 jobの種類ごとにコストを可視化 9 あうもんはGoでできてるもん LLMは遅い＆揺れる非同期・冪等・見える化で包む

Slide 10

Slide 10 text

● 🙅自由入力→🙆構造化された入力の誘導 ● 不要な情報の除去 ● 不適切な入力をLLMに送らないための early return 良い出力=良い入力インプットの前処理 10 良い出力を実現するには良い入力が欠かせないもん！

Slide 11

Slide 11 text

外部データの管理 11 データをLLMに渡しやすくすることもGenAIOpsの役割！自社データ（読者行動・店舗）をセキュアかつシームレスにLLMへ渡す aumo データ整形抽出

Slide 12

Slide 12 text

プロンプトデザイン 12 世に言うプロンプトエンジニアリングだもん ● 目的適合：用途ごとにプロンプトを最適化（ClaudeはXMLのセクション分けが安定） ● 構造化出力：タグで出力スキーマを明示して揺れを減らす（例：summary, tags など） ● 管理：テンプレを命名・変数化・バージョン（例：prompt.review.v2）モデル×目的に合わせ XMLで“やること／ルール／出力”を固定

Slide 13

Slide 13 text

外部リソースの接続 13 現実世界とつながるもん！ ● 目的：LLM経由でDB操作や自社データの分析を実行 ● 手段：アダプタとしてAWS Lambdaを呼び出す ● 利用形態：Amazon Q Developer × Slack 連携で、社員がSlackからあうもんを操作 LLM単体はテキスト生成ツール接続で“できること”を増やす

Slide 14

Slide 14 text

アウトプットの評価 14 安定した出力を得られなければサービスとは呼べないもん！ ● 形式検証：出力フォーマットを厳格バリデーション（必須項目／型／範囲） ● 内容評価：別のLLMで評価し、基準に満たない場合は差し戻し ● 継続運用：基準・閾値をテンプレ化し、再生成/人手確認への分岐を用意バリデーション＋二次評価＋運用で安定化

Slide 15

Slide 15 text

フィードバックループ 15 フィードバックループでどんどん賢くなるもん！ ● 何を集める：明示評価／暗黙指標をイベント化 ● どう貯める：ユースケース×入力×出力×評価をスキーマで保存 ● どう使う：良/悪例とガイドをRAGへ投入、few-shot/禁止語として参照再学習なしでも回す FBは外部データ化→RAGなどで反映

Slide 16

Slide 16 text

まとめ 16

Slide 17

Slide 17 text

7つの要素を「運用の3実践」に束ねる 17 GenAIOpsを理解して、AI活用を進めるもん！包む・つなぐ・測る＝ GenAIOpsの骨格包むつなぐ測るアプリ開発前処理外部データプロンプト外部リソース評価 FBループ