Open QA4AI Conference 2023 (2024-01-17) : QA4AIのこれまでとこれから

Open QA4AI Conference 2023 でのオープニングセッション
https://qa4ai.connpass.com/event/303295/

QA4AI 対話型生成 WG リーダー 徳より。

Transcript

1. 1 参加者の皆様へのお願い：アンケート ◼ アンケートのご協力をお願いします ◼ https://forms.office.com/r/pe9T 2y0i7u
2. オープニングセッション QA4AI 対話型生成 WG リーダ ダイキン工業 DX戦略推進準備室 徳
3. 開催趣旨 昨今は2022年11月にリリースされたOpenAI社によるChatGPTなど生成AI技術 の利活用の検討が進む一方で、生成AIに関する品質観点や法論議などの議論 がグローバルで始まっております。 本イベントではQA4AIや産総研がどのような 検討をしているのか、またQA4AIガイドラインの改定内容を紹介し、生成AI技術 などの技術進展に対してどのように対応していくかについて講演いたします。 主催 : AIプロダクト品質保証コンソーシアム(QA4AI) 協賛：情報処理学会ソフトウェア工学研究会、 日本ソフトウェア科学会機械学習工学研究会、 日本ソフトウェア科学会ソフトウェア工学の基礎研究会、 人工知能学会、 日本ディープラーニング協会 NPO法人ソフトウェアテスト技術振興協会（ASTER）
4. 4 プログラム オープニングセッション/ 13:30-14:20 QA4AI（AIプロダクト品質保証コンソーシアム） のこれまでとこれから ダイキン工業 徳 隆宏 QA4AI セッション①/ 14:30-14:45 QA4AIガイドライン 産業用プロセスWG アップデート状況 東芝 久連石 圭 氏 産総研 機械学習品質保証セッション/ 15:00-15:50 AI品質マネジメントの社会実装について 産業技術総合研究所 デジタルアーキテクチャ研究センター 小西 弘一 氏 QA4AI セッション②/ 15:50-16:40 QA4AIにおける２つの生成系AIサブガイドライン 国立情報学研究所 石川 冬樹 氏 パネルディスカッション / 17:00-17:50 AI技術の変化を踏まえたこれからの品質保証 国立情報学研究所 石川 冬樹 氏、日立製作所 小川 秀人氏、 産業技術総合研究所 小西 弘一 氏、ダイキン工業 徳 隆宏 (休憩時間) (休憩時間) クロージング 日立製作所 小川 秀人 氏 国立情報学研究所 石川 冬樹 氏 産業技術総合研究所 小西 弘一 氏 ダイキン工業 徳 隆宏 東芝 久連石 圭 氏
5. オープニングセッション 1. 自己紹介 2. QA4AIについて 4. QA4AIのこれから 3. 昨今のAI関係の変化潮流
6. 自己紹介 担当領域 SCM・ものづくり、データマネジメント デジタル技術の事業経営活用 徳 隆宏 （とく たかひろ） DX戦略推進準備室 テーマ推進担当課長 テクノロジーイノベーションセンター 担当課長（兼） 略歴 ・2005年 大阪大学大学院 情報科学研究科 卒 ・2005年 外資系Sier： 製造業の基幹システム等の開発・プロマネや、組み込み開発 ・2011年 制御機器メーカー：工場制御機器（PLC）開発や、AI技術の研究開発・事業化を担当 ・2021年 当社入社 R&D（テクノロジーイノベーションセンター）とDX組織に着任 外部活動 QA4AI、NPO法人 ASTER会員, JaSST Kansai アドバイザ
7. オープニングセッション 1. 自己紹介 2. QA4AIについて 4. QA4AIのこれから 3. 昨今のAI関係の変化潮流
8. 8 AIプロダクトの特徴： ・主に機械学習技術を前提としている 従来ソフトウェア開発では、明示的なルール定義から構築 （演繹的な開発） AIプロダクトの開発では、結果（データ）から構築 （帰納的な開発） ・CACE性がある Changing Anything Changes Everything 訓練データを変えると、ふるまい全体のどこかが変わる ・自動化が必要 モデルの構築・運用には大量のデータが必要 AIプロダクトが利用される状況変化に対し、データなどの観点で追従が必要 AIプロダクト (機械学習技術を利用した製品・サービス) を様々な組織が開発・利用 一方でどのようにリスク管理や品質保証をすべきか、産業界に明解な答えがない
9. 9 国内の取り組み ▪政府 ・内閣府『統合イノベーション戦略推進会議』「人間中心のAI社会原則」 ・経済産業省 「AI原理原則実践のためのガバナンス・ガイドライン」 (v1.1 2022年1月） ▪産業技術総合研究所 機械学習品質マネジメントガイドライン(通称AIQM)を公開 （第１版 2020年、第４版 2023年12月） AI品質マネジメントシンポジウムを開催 （第２回 2023年10月） https://www.youtube.com/watch?v=PSMJOMVV_K0 ▪QA4AI（AIプロダクト品質保証コンソーシアム） QA4AIガイドライン公開（第１版 2019年、最新は2024.01版） Open QA4AI Conferenceを開催 （第1回 2019年、 最新は今回） 本日公開
10. 10 最新(4版）機械学習品質マネジメントガイドライン https://www.digiarc.aist.go.jp/publication/aiq m/guideline-rev4.html
11. 最新(2024.01版）QA4AIガイドライン https://www.qa4ai.jp/%E3%83%80%E3%82%A6%E3% 83%B3%E3%83%AD%E3%83%BC%E3%83%89
12. 12 機械学習品質マネジメントガイドライン（AIQM)と、QA4AIガイドラインは相互補完的 QA4AIガイドライン 機械学習品質マネジメントガイドライン（AIQM) メンバー 大学/公的研究機関、企業研究者、企業実務者 特徴と体 系 ・品質保証観点（５つの軸、チェックリスト） ・プロダクトの実務課題への対策 ・利用時品質、外部品質、内部品質の体系 ・内部特性のレベルごとの要求事項 内容 エンジニアリング（開発・技術）観点で 抽象的だが実用的に記載 品質概念の包括的な体系と、必要アクティビ ティの整理 使い方 AIプロダクトの開発・運用・提供をする開発者・開 発組織が、品質リスクを理解し、対象プロダクトの 特性に応じて品質を作りこめるようにする参考書。 AIプロダクトを企画管理する企画者やリスク管理者 や管理組織が、利用時品質のライフサイクルプロセ ス全体を理解し、品質を評価管理できるようにする 参考書 共通点 ・対象物：機械学習AIを含む製品・サービス（AIプロダクト）の品質 ・品質を作りこむ管理・手段（品質観点や、品質検証するための技術など） 相違点 ・整理体系の切り口、AIプロダクトの市場や技術に依存した特性への言及、主な対象読者
13. 13 QA4AI：AIプロダクト品質保証 コンソーシアム ・ ２０１８年に、産官学連携のオープンなコンソーシアムとして設立 ・ 様々な類似の取り組みのハブ・コーディネート・意見交換・連携の場を意図 ・ 設立時は39名。 ・運営委員会: 故 西康晴(電気通信大学:長) 石川冬樹(国立情報学研究所:副) 小川秀人(日立製作所:副) 久連石圭（東芝） 徳 隆宏（ダイキン工業） 光本直樹(デンソー) 濱田晃一(DeNA) ・2024年１月現在、メンバーは80名 ・AIプロダクト（機械学習等の技術を利用した製品・サービス）を様々な組織が開発・利用 ・一方でどのようにリスク管理や品質保証をすべきか、産業界に明解な答えがない
14. 14 QA4AIの活動 AIプロダクトのリスクや品質保証技術を取りまとめて世に打ち出す ・AIプロダクトの品質保証技術の調査・体系化 ・AIプロダクトの品質保証技術の適用支援・応用例の収集 ・AIプロダクトの品質保証技術の研究開発の促進 ・AIプロダクトの品質保証レベルの策定と、各レベルに必要な技術の対応づけ ・AIプロダクトの開発・提供組織による自己宣言方法の策定（保証ポリシー等） ・社会へのガイドラインの提示と啓発
15. 15 QA4AIのスタンス オープンに、マルチドメインで、技術的なベストプラクティスを提供 ・開発組織も、顧客も、（相応の）安心を。品質保証側が邪魔をせず過度な期待を防ぎたい ・オープンで技術志向の組織運営。招待型でベストエフォートで参加 ・AIプロダクト共通ガイドに加え、マルチドメインでガイドライン提供 マルチドメイン： AIプロダクトの領域ごとに深堀議論 ・AIプロダクトの使われ方や作られ方によって課題やベストプラクティスが異なる ⇒ ドメインごとにワーキンググループ活動 ・ドメインの例：AI-OCR、産業用プロセスデータ、コンテンツ生成、対話型生成など ・ワーキンググループ活動の例：情報収集・課題整理・ガイドライン執筆・社外発信
16. 16 QA4AIガイドライン ・共通編とドメイン編でガイドラインを構成 ・ベストプラクティス（どんな課題があって、どう考える・どうする）を中心に編成 ・ガイドラインは、（少なくとも）毎年更新 ・ドメイン編はワーキンググループごとに検討・執筆 ▪共通編 ・ガイドラインの目的とスコープ、 品質保証の枠組み ・品質保証の技術 、 説明可能性・解釈性 ▪ドメイン編 ・コンテンツ生成 （動画生成など） ・Voice User Interface (スマートスピーカーなど） ・産業用プロセス （装置・設備など） ・自動運転 （自動運転車両） ・AI-OCR （図面・テキスト読み取り） ・対話型生成 （ChatGPTなど） アップデート 本日活動紹介 ドメイン追加
17. 17 QA4AIガイドラインの品質保証の考え方 ▪5つの軸とそのバランスで品質保証を考える ① Data Integrity （データの量、質、管理 など） ② Model Robustness （性能尺度、多様な検証、監視 など） ③ System Quality （提供価値、インシデント許容度、結合度 など） ④ Process Agility （データ収集反映、リリースサイクル、 構成管理、省力 など） ⑤ Customer Expectation （データの質や量への理解、説明性や原因追及の期待値、 実運用での協力度 など）
18. 18 ５つの品質軸の例 ▪現場作業時間自動計測 現場情報から撮影したカメラ画像から、“実作業時間”を計測 現場とコミュニケーションし、 技術検証、PoC、ベータリリース、実運用で徐々に５つの軸がアップデート （ただし、ＱＡ４ＡＩガイドラインをもとにした実施例ではない） 投影のみ
19. βリリース 19 AIプロダクト品質保証組織の例 企画構想 技術検証 企画構想 技術検証 PoC 企画構想 技術検証 PoC βリリース 企画構想 技術検証 PoC 継続的実運用 開発 利用 品証 運用に至る案件が増えることで、品証で見るべき観点が深く・複雑に 達成レベルの設定・確認・調整
20. オープニングセッション 1. 自己紹介 2. QA4AIについて 4. QA4AIのこれから 3. 昨今のAI関係の変化潮流
21. 21 主な変化潮流 ① 技術：生成AI領域の急速な発展 Transformer技術が強力 ⇒ アルゴリズム競争よりも、（用途別）データ・計算量の競争が加速 特に、画像やテキストにおいて基礎モデルの利用が活発に ② 利用：対話型型生成AIに代表される、用途・利用者の急増 専門家による実現性検討や、利用のマニュアル化・標準化を経ず、直接利用者がAIを利用 ⇒プロンプトエンジニアリングなどユーザー主体の創意工夫、生成物の転用再利用リスク増 ③ 規制：著作権など法的、倫理など社会的受容性でのリスク議論の進展 各国規制（EU GDPR AI Act、米国 Trustworthy AI大統領令、日本 著作権法 など) 画像生成ＡＩの訓練に「児童ポルノ」の画像 （LAION-5B ) ⇒ 継続的な状況把握がガバナンス上必要 ④ IT 開発： 生成AI技術活用領域の浸透拡大 開発者の生成ＡＩ活用（コーディング・設計・テストなどで生成AIが支援） システムでのＡＩ活用（画像や音声認識などマルチモーダル処理や、ＵＩや検索で生成ＡＩを使用） ⇒事例の拡大を組織内外で把握していく必要
22. 22 変化潮流 1/4 技術 基本的な技術的構造は大きく変化しないものの、基礎モデルやサービスが毎月リリー スされ評価が必要（しかし、評価の仕方は定まっていない） ▪ Transformerの特徴 ・帰納バイアス（機械学習モデルが有する仮定・構造上の偏り）がないため、柔軟で普遍的な表現力を持ち、 ただし過学習に弱い。（線形回帰は線形を仮定、CNNsは重みを共有した局所カーネル関数を適用） ・スケーリング則 （モデルのパラメータ数、使用するデータセットサイズ、計算量の冪乗則に従い性能向上） があるため、用途に見合ったデータを大量に持つ動きが加速 ⇒ 用途・市場に合わせたモデルの提供が今後も続く ▪基礎モデルとモデル提供サービスの加速 海外：モデル性能向上と提供サービスの両方の動きが活発 ・GPT3.5(OpenAI 2022-03), PaLM1 PaLM2 (Google 2022 05), LLaMA(Meta 2023-02), LLaMA2(Meta 2023-07), GPT4Turbo(OpenAI 2023-11), ・ChatGPT (OpenAI 2022-07), AzureOpenAI (Microsoft 2023-01), Bard(Google 2023-03), Bedrock (AWS 2023-04), ChatGPT Enterprise(OpenAI 2023-08), Duet AI (Google 2023-08), Amazon Q(AWS 2023-12) 国内：日本語モデルや国内向けシステム開発サービスも活発 ・GPT3日本語ベース（Abeja 2022-07), cotomi（NEC 2023-07), Weblab-10B(東京大学 2023-08), tsuzumi (NTT 2024-03予定）, 大規模LLM（SoftBank institution 2024年予定)
23. 23 変化潮流 2/4 利用 利用者中心のトライアンドエラー、利用時品質起点のアーキテクチャ 従来の発想： 機械学習エンジニアがモデルを作り、プロダクト提供者がモデルを搭載しシステ ムを提供し、利用者はプロダクトを操作し成果物を得る ⇒ 利用者は所望の成果物の特性を伝え、AIのアウトプットを評価する ⇒ エンジニア・プロダクト提供者が試行錯誤の中心 新しい発想： 利用者が自分のタスクのためにプロンプトやデータセットを用意し成果物を得る ⇒ 利用者は成果物の特性を伝える必要なく試行錯誤しアウトプットを活用 ⇒ エンジニア・プロダクト提供者は、利用者の落胆を防ぐために（例えばハ ルシネーション）、より正解に近いアウトプットを提供するアーキテクチャを提供 する（例えば外部データベースから正確な情報を検索し、その結果と生成AIを組み 合わせて回答を作る：RAG）
24. 24 変化潮流 3/4 規制・社会受容性 規制・社会受容性は日々議論されており、AIプロダクトのステークホルダ （開発者・利用者等）は、法や社会受容の状況理解や利用ガイドが必要 ▪AIと著作権より部分抜粋 文化庁 著作権セミナー2023-06 ・学習時： 著作者に表現された思想・感情の享受を目的とするか ・生成時： （人の生成と同様）著作物の類似性・依拠性があるか ・生成物の著作権： AIが自律的に生成するか。人の創作道具として利用か ▪文化審議会著作権分科会法制度小委員会 第6回 文化庁 2024-01-15 「AIと著作権に関する考え方について（素案）」が了承。 ・より詳細に学習時、生成時、著作権性やその他論点を明示。 ・例えば、モデルそのものだけでなくファインチューニングやRAGで利用するデータの著作物 や享受目的等、仔細にパターンを分けて言及
25. 25 変化潮流 4/4 IT開発 IT開発 AI for SE、SE for AIの実例が急速に拡大 デファクト・標準はなくとも、便利なので使う・使ってしまう・使いたい） ・AI for SE : AIを利用した、システムエンジニアリングの改善 例えば、Code Copilot、設計ドキュメントの生成等。 ⇒ どのCopilotが良いか？ 独自に作るべきか？ ⇒ 教育 vs ツール ・SE for AI ： AIを利用したシステムの、システムエンジニアリング 例えば、文書要約や資料説明タスクでのマルチモーダルAI ⇒ 対話型システム vs 基礎モデル+追加学習 vs SaaS vs 独自 技術（自然言語と画像）と要件（タスク）とプロセス・アーキテクチャ
26. オープニングセッション 1. 自己紹介 2. QA4AIについて 4. QA4AIのこれから 3. 昨今のAI関係の変化潮流
27. 27 QA4AIのこれまでの活動と変化潮流から QA4AIのこれまでの活動 ・品質評価技術の調査 ・オープンでマルチドメインで、 ドメインごとに具体化 ・バランスを考えた品質５軸 ⇒ これらの調査体系化・議論・発信 変化潮流 ・技術：評価すべきモデル・サービス増加 ・利用：利用者も試行錯誤して開発 ・規制：日々進展 ・IT開発： AI for SE、SE for AIの加速展開
28. 28 QA4AIのこれまでの活動と変化潮流から QA4AIのこれまでの活動 ・品質評価技術の調査 ・オープンでマルチドメインで、 ドメインごとに具体化 ・バランスを考えた品質５軸 ⇒ これらの調査体系化・議論・発信 変化潮流 ・技術：評価すべきモデル・サービス増加 ・利用：利用者も試行錯誤して開発 ・規制：日々進展 ・IT開発： AI for SE、SE for AIの加速展開 QA4AIの活動の枠組み・スタンス等は変わらない より変化潮流を把握し発信する、世の中の接点との強化は必要
29. 29 QA4AIのこれから ▪ ドメインごとのアップデートを今後も継続 【生成AI：コンテンツ生成、対話型生成】 ・法規制や社会受容性は今後も変化 ⇒ ガバナンスの在り方は今後も議論が必要 ・ユースケースの事例の増加⇒ 新しいリスクへの構え（例：生成AI間のインターフェース、生 成AIのアウトプットと安全） ・評価技術にデファクトはいまだ存在しない⇒ 今後も品質評価技術などは引き続き収集・検証 ・全ドメインで生成AI技術の進展による影響がある 【 各ドメイン】 ・アップデートを今後も継続。生成AIに限らずドメインごとの変化を反映していく 【 様々な情報発信と課題収集の接点の工夫】 ・情報処理学会ソフトウェア工学研究会 ウィンターワークショップ2024 イン鹿児島（来週） ▪ 類似した様々な取り組みと引き続き連携 ・MLSE, 産総研(機械学習品質マネジメントガイドライン）, NII(engineerable AI) 等々