AIの品質を考える〜その品質のモヤり、ISO 25059で説明できます〜

2026/02/06 AGI福岡#9

Transcript

1. AIの品質を考える 〜その品質のモヤり、ISO 25059で説明できます〜 2026/02/06 AGI福岡 #9
2. 自己紹介 藤⽥ 明⼤ 株式会社スタディスト / AIエンジニアリング室 / QAエンジニア ▪ 最近のお仕事 ‧AIプロダクトの品質保証 ‧LLMのバージョンアップ（実装‧テスト‧プロンプト修正‧リリース） ▪ ▪
3. AIプロダクト作ったり‧使ったり、テストしていると 品質のモヤりに遭遇することはありませんか？
4. (*1)：8つの観点で整理したAIに関するソフトウェア品質の国際基準 そのモヤり、実はISO 25059（*1）で説明できます。
5. 今日の流れ 今⽇はその品質のモヤりをISO 25059に沿って紹介し、 実際どうなっていればいいの？を実例を交えて何個かご紹介したいと思います。 ▪
6. Case1
7. 違う！そうじゃない ！ 勝手に進むな！
8. 「違う!そうじゃない !勝手に進むな !」 対話型AIに情報⼊⼒中、typoで送信してしまい、エージェントが作業開始。 結果が帰ってこないと再操作できない。 エージェントが作業した結果、元々の情報を勝⼿に上書いてしまう。 ▪ ▪
9. ユーザー制御性の欠如
10. ユーザー制御性とは 作業を途中で中断できなかったり、指⽰してない操作を完了するのはユーザー制御性に⽋けている。 ISO 25059の定義 ユーザーがAIシステムの機能にタイムリーかつ 適切に介⼊できる程度 発表者の解釈 ユーザーがAIを制御する機能があるか。 最終的な決定権が⼈間にあるか。
11. ユーザー制御性の考慮例 提案の採否選択 再試⾏‧停⽌ボタン ↑例： AI提案を受け入れるか・やめるか選択可能 ↑例： 「再試行」で気に入らない回答をやり直せる ↑例： 「停止」ボタンで生成途中でも中断できる
12. Case2
13. なるほど。で、 根拠は？
14. 「なるほど。で、根拠は？」 AIに質問した回答、それっぽいけどなんでこの回答？ 根拠が分からない.... RAGにそれっぽいテストデータ作ったような記憶はあるけど、どれだ....？ ▪ ▪
15. 透明性の欠如
16. 透明性とは ISO 25059の定義 AIシステムに関する適切な情報が関連するス テークホルダーに伝達される程度 発表者の解釈 AIの回答理由と意思決定プロセスを⼈間が理解 できる機能があり、その回答を使いこなせると 体感できること ‧説明可能性：根拠を説明できるか ‧追跡可能性：結果を提⽰までのプロセスを追跡できるか ‧理解可能性：ユーザーが理解できるか ⼈間が使いこなせるような情報を提⽰していない状態は、透明性に⽋けている。
17. 透明性の考慮例 根拠‧引⽤ハイライト 思考プロセス段階表⽰
18. 透明性の考慮例 説明可能性 例：根拠となる引用元・出典へのリンク表示 理解可能性 例：引用元表示と引用箇所ハイライト 根拠‧引⽤ハイライト 根拠の出典があることで、回答に納得感を持てる 機能として 引用元が表示されることで、 AIの結果を自信を持って 扱える 人間の体感として
19. 透明性の考慮例 思考プロセス段階表⽰ 追跡可能性 例：思考プロセスの可視化（最終結果より） 機能として 可視化された思考プロセスにより 正しい進め方・考え方で得られた結果だと 安心できる 人間の体感として
20. ここまで色々話してきたけど ISO 25059とは
21. ISO/IEC 25059とは 品質を評価‧分類するための 着眼点（ものさしのようなもの）を提供（＝品質モデル） ステークホルダー間の共通⾔語として、 コミュニケーションツールとしても使える モノ（製品⾃体）とコト（利⽤者の体験）の2つに分類されている ▪ ▪ ▪ それぞれの良し悪しを評価するために、 ‧モノ（製品⾃体）には6つの着眼点 ‧コト（利⽤者の体験）には2つの着眼点 があります ▪
24. まとめ 「品質悪くね？」→ ISO25059のどれが⾜りてないか当てにいくと、何が起きているか⾒えやすい ISO 25059の品質の視点は、既に多くのAIサービスで考慮され、品質向上に寄与していると考えられる ▪ ▪ AIシステムの品質を評価するための枠組みとしてISO25059が提供されている ▪
25. 注意事項 本資料にはISO 25059を読んだ発表者の解釈が含まれています。 そのため「ISO25059の定義」と「発表者の解釈」は明⽰的に分けています。 発表者の解釈は正しい‧正しくないではなく、⼀つの参考意⾒としてご理解ください。 考慮例は発表者が選定したものであり、他にも多様な実装⽅法‧実現⽅法があります。 ▪ ▪ ▪ ISO 25059は準拠すべき規格ではなく、あくまでも品質を整理するために参考となる枠組みです。 ▪
26. ご清聴ありがとうございました