Introduction of QA4AI guideline(VUI)

This document provides an introduction to the AI Product Quality Assurance Guidelines.

https://www.qa4ai.jp/download/

Transcript

1. AIプロダクト品質保証ガイドラインの VUI部分の紹介なの
2. 自己紹介 名前：まつ @mty_mno 活動： • 新人さんからわかるソフトウェアテスト解説マンガ「テスターちゃん」作者 • AIプロダクト品質保証コンソーシアム(QA4AI)スタートアップメンバーの一人 ◦ ガイドラインのVUI (Voice User Interface) 領域を執筆しています。 • JaSST Kyushu(ソフトウェアテストシンポジウム九州）の去年までの実行委員長
4. お盆期間中は、機械学習で文字列生成して会話するデスクトップアプリを作っていまし た。 このコンテンツを品質保証してといわれても、うーん、となりますよね。。。
5. この発表のねらい • AIプロダクト品質保証ガイドラインについて知ってもらう！ • ガイドラインに興味を持ってもらう！ AIプロダクト品質保証ガイドラインはここからダウンロード
6. 目次 • AIプロダクト品質保証コンソーシアム (QA4AI) とは？ • AIプロダクト品質保証ガイドラインとは？ • Voice User Interface部分の紹介
7. AIプロダクト品質保証コンソーシアム (QA4AI)とは
8. AIプロダクト品質保証コンソーシアム(QA4AI)とは AIプロダクトが世の中に広まってきているものの、AIプロダクトの品質保証技術はまだま だ発展途上です。よって生活や社会、経済には、AIプロダクトの品質事故という甚大なリ スクが内在されています。 そこで、AIプロダクトの品質保証に関する調査・体系化、適用支援・応用、研究開発を推 進するとともに、AIプロダクトの品質に対する適切な理解を社会に啓発する活動を行うコ ンソーシアムを産学で設立したというのがQA4AIです。 QA4AIのwebページ
9. 何をしているの？ 各領域ごとのワーキンググループにわかれて、それぞれについてどのように品質保証 するかを話し合いガイドラインの各領域部分を執筆しています。 • 生成系システム • Voice User Interface (VUI)　←今日の発表 • 産業用プロセス • 自動運転 • AI-OCR
10. どんな成果があったの？ • The 32nd International Conference on Software Engineering & Knowledge Engineering (SEKE20) ◦ Best paper awards: Second place • 人工知能学会 ◦ 第2回 AI ELSI賞（Practice部門）
11. AIプロダクト品質保証ガイドライン とは
12. AIプロダクト品質保証ガイドラインとは AIプロダクト品質保証ガイドラインはAI プロダクトの品質保証に対する共通の指針を与 えよう、という目的で作成されています。 前半では、全体に共通するAIプロダクトの品質保証の基本的な考え方が書かれていま す。 後半では先ほど述べた通り、各領域ごとの品質保証について書かれています。 その他、技術カタログなども書かれています。 ※ガイドラインは無料です。
13. 基本的な考え方部分に書かれている内容を簡単に紹介 AIプロダクトの品質保証において考慮すべき軸として、Data Integrity, Model Robustness, System Quality, Process Agility, Customer Expectationの5軸を挙げ、こ れらのバランスを取ることを推奨しています。ドキュメントにはそれぞれの軸のチェックリ ストも用意されています。 • Data Integrity ◦ 質においても量においても適切かつ充分なデータの確保、学習用データと検証用データが独立してい るかなどについて考慮 • Model Robustness ◦ モデルの精度と頑健性、デグレードなどについて考慮 • System Quality ◦ AI プロダクト全体の品質の確保について考慮 • Process Agility ◦ プロセスの機動性について考慮 • Customer Expectation ◦ よい顧客との関係性について考慮
14. Voice User Interface(VUI)領域の紹介
15. Voice User Interface (VUI)とは これまでCUI (Character User Interface / 文字によって操作)、GUI (Graphical User Interface / マウスなどで操作)がありました。それの音声バージョンです。音声によってシ ステムに指示を与える方式です。 スマートスピーカー カーナビ 家電
16. 仕組を簡単に説明（例：スマートスピーカー） 音声認識 自然言語理 解 占い 天気 音楽 音声合成 今日の青森市の 天気は？ 機能：天気 時間：8月16日 場所：青森市 8月16日の 青森市の天気は 雨です
17. 機械学習が主に使われている場所 音声認識 自然言語理解 （音声合成） 機械学習を用いて音声信号をテキストに変換する 機械学習を用いてテキストの意図(何を実行したいか)を把握し、コマ ンドに変換する 機械学習を用いてテキストから音声に変換する
18. VUI領域に書いている内容のざっくり紹介 • VUIシステムの特徴 ◦ 例えば音声認識であれば同じ言葉でも性別や設置環境、発話距離で入力が変わるなど、各機械 学習部分についてどういった特徴があるか記載 ◦ インフォテインメント ▪ 情報提供と娯楽の提供 • 特有の課題 ◦ 音声入力のみで様々な機能が動作できる ◦ Process Agility ▪ よく使われるようになった言葉への対応 ▪ ニーズのキャッチアップと反映 • 機能安全 ◦ 簡単に操作できるゆえの意図しない動作を防ぐ ◦ 外部機器操作の誤認識への対応 ◦ カーナビなどによる運転を阻害しないために（情報送信のタイミング、情報量の調整）
19. VUI領域に書いている内容のざっくり紹介 • 期待される品質 ◦ 5つの軸からの観点で記載 ◦ （今後もっと整理する予定） • テストアーキテクチャ ◦ 各テストレベル、テスト対象に対してどのようなテストを行った方が良いか ◦ もちろん、機械学習部分だけにとらわれるのではなく、ユニットテスト、統合テスト、システムテストと システム全体のテストを考える必要がある • 有効な手法、品質保証レベル ◦ 一部分を後程紹介 • 個人情報及びプライバシーの保護 ◦ 音声データの取り扱いや、情報の取り扱いについて ◦ 弁護士の方にも話を聞き、記載後のレビューもしてもらっている
20. 有効な手法の一部分紹介 画期的な新手法を書いているわけではなく、実際に現場で使った方法をいくつか紹介し ている。 例：n段階評価法 Pass/Failの2択ではなく、5段階評価といった段階を付けた評価しましょうという方法。
21. 有効な手法の一部分紹介 5段階評価の例： 1. 意図に反する異なる機能が実行される • 「音楽をかけて」に対して「占い」が実行される • 「コンビニに行きたい」に対して「電話」が実行される 2. 意図した機能が実行されるが、機能内において意図と異なるコンテンツが実行される • 「音楽を止めて」に対して「音楽の順送り」が実行される • 「シート倒して」に対してシートが起き上がる 3. 意図した機能が実行されるが、意図したことと異なる情報 /内容が返される • 「"歌手名"の曲をかけて」に対して「他の歌手の曲」が返される • 「"目的地"に行きたい」に対して「違う目的地」が設定される 4. 意図した機能が実行され、意図したコンテンツが返されるが、合っているとまでは言い難い • 「夏にあう曲をかけて」に対して、曲は返されるが夏の定番曲とは言い難い • 「"目的地"に行きたい」に対して、違う経由地の経路が返される 5. 意図した機能が実行され、意図した内容が返される • 「夏にあう曲をかけて」に対して、「夏の定番曲」が返される • 「"目的地"に行きたい」に対して、最短経路が返される プロダクトによってどこまで受け入れるかは変わるが、上の例では 1~3が「当たり前品質」にあたるような部分。
22. 抽象度の切り分けの方針の例
23. 今後について • 「UX」について話し合いを始めています。 ◦ 出力部分についての記載が薄いので、出力（音声合成）にフォーカスした話を追記予定です。 ▪ 例 ▪ コミュニケーションに重きを置かないプロダクト（家電など）については、声をリッチ（抑揚をつ ける、過度にキャラクター性がある）にするよりも淡々と話してくれた方が良い ……など
24. VUI領域の想い
25. VUIのガイドラインの方向性 実際に現場のテスト担当者が使えるもの にしたい、というのが作り始めからの一貫 した考えです。
26. おわり