AIで有人対応の品質チェックを"同じ物差し"に：CSの評価軸設計とプロンプト調整

━━━━━━━━━━━━━━━━━━━━━━━━━━━━
　　MIXI MEETUP！AI DAY 2026 - SESSION ARCHIVE
━━━━━━━━━━━━━━━━━━━━━━━━━━━━

AIで有人対応の品質チェックを"同じ物差し"に：CSの評価軸設計とプロンプト調整

CS業界ではAIによる問い合わせ対応の自動化が進む一方、「有人対応が必要な領域」も残ります。
有人対応が必要な領域を対象に、オペレータの対応品質をAIで同一基準チェックする仕組みを構築。
多様で単純なルールが通用しないケースに対し、評価軸設計とプロンプト調整でブレを抑え、良し悪しを同じ物差しで残す具体策を共有します。

CS本部/CX部/Cooperationグループ/クオリティマネジメントチーム
野崎 由梨

────────────────────────────
□セッション情報
https://mixi.connpass.com/event/380889/
□イベントハッシュタグ
#miximeetup2026
━━━━━━━━━━━━━━━━━━━━━━━━━━━━

◇◆◇ Information ◇◆◇
◎ エンジニアSNS/メディア
X（旧Twitter）
https://x.com/mixi_engineers
MIXI Developers Blog (medium)
https://mixi-developers.mixi.co.jp/
Slide (SpeakerDeck)
https://speakerdeck.com/mixi_engineers/

◎デザイン職メディア
MIXI DESIGN note
https://note.com/mixi_design/
MIXI DESIGN Cocoda
https://cocoda.design/teams/mixi-design
Slide (SpeakerDeck)
https://speakerdeck.com/mixi_design/

◎採用情報
https://mixigroup-recruit.mixi.co.jp/

HP
https://mixi.co.jp/
X
https://x.com/mixi_PR
connpass
https://mixi.connpass.com/

Transcript

1. ©MIXI AIで有人対応の品質チェックを “同じ物差し”に CSの評価軸設計とプロンプト調整 野崎 由梨 CS本部CX部CooperationG
2. ©MIXI 所属紹介 MIXIが展開する様々なサービスのカスタマーサ ポートを提供する CS本部 toCの対応を担っているグループ CooperationG
3. ©MIXI CSの現実
4. ©MIXI 課題：現状の品質管理は「属人的」で「断片的」 • 自動化が進んでも、有人対応が必要な領域は残る ◦ 例外・感情・判断が絡む領域 • 有人対応の品質チェックには、課題が生じている ◦ 主観的・属人的：担当者によって評価がブレる ◦ 断片的：コストを考えるとサンプルチェックが限界 個⼈の「主観」を排除し、 ⾒えていない案件も含めて「全件」の品質を守るには どうすべきか？
5. ©MIXI 本日の結論
6. ©MIXI 全件×同一基準で品質を観測する仕組みづくり CSでのAI利用＝返信文生成、FAQ　だけじゃない！ 有⼈対応の品質チェックをAIで⾃動化
7. ©MIXI どんなチェックを作った？
8. ©MIXI チェックの流れ 問い合わせ本⽂を⼊⼒ ※個⼈情報マスキング 済み ⼊⼒ Geminiを利⽤し お問い合わせ対応時の 複雑さをスコアで評価 スコア採点 対応前後の スコア差分計算 差分計算 「良い対応」かどうか 判定 指標チェック
9. ©MIXI スコア採点で振り分ける案件の複雑さ 複雑度が高い • お怒りや悲しみなど、感情が強く含まれるご連絡 • プライベートなご事情が含まれるご連絡 • 話題が多いご連絡 複雑度が低い • ポジティブなご連絡やご要望 • 単純な仕様に対するご連絡 • 話題が少ないご連絡
10. ©MIXI 前後差分で“影響”を見る • スコアが上昇＝悪化 • スコアが下降＝良化 • スコア変化なし＝変化なし • 14日以上反応なし＝返信なし 対応の影響を同じ物差しで残す
11. ©MIXI 1つ目の落とし穴 「良い対応」はどの案件でも 同じ？
12. ©MIXI 「良い対応」は案件の複雑さで変わる 複雑度が高い（感情も含む・話題が多い） mマイナスをゼロにする対応が求められる 　→良化している＝良い対応 複雑度が低い（質問・要望） プラスを保ったまま、悪化させない・早く解決する 　→悪化させていない＝良い対応 ⼀律「良化率」で⾒る構造は失敗を招く
13. ©MIXI 解決策：複雑さ別に指標を設けチェック 複雑度が高い m良化率＋返信なし率 複雑度が低い 　悪化率＋変化なし率 複雑度が中程度 　良化率−悪化率
14. ©MIXI 2つ目の落とし穴 AIが判断しづらい日本語の ニュアンス
15. ©MIXI 解決策：単語で縛らず、定義・例・根拠を与える NG • ネガティブ・ポジティブをワードで定義 　　→特定のワードのみに反応して判定 OK • 定義ファイルや、良い判定と悪い判定の例を与える • AIに判定理由を言語化して出力させ、根拠を持たせる 　　→多様な問い合わせにも適切に反応し判定
16. ©MIXI 日本語のあいまいさを誤読するAI 形式的な⾔葉や、⾔葉の裏に潜む感情を AIは正しく読み取ってくれない 対応してくれてありがとうございます 。 でも、まだ◦◦のことがわからなくて… AIは「ポジティブ（＝複雑度が低い）」と 判定
17. ©MIXI 成果
18. ©MIXI 「主観」を排除し、「全件」のチェックが可能に Before After サンプルチェック 方法 AIによるチェック 全体の約8％ 対象 全件（100％） 1件20分 使用時間 全件あわせて150分
19. ©MIXI ご清聴いただき ありがとうございました！
20. ©MIXI