[JaSST nano vol.33] AI がAIをテストする？Azure Prompt flowを使った感想とLLMのテストについて

JaSST nano vol.33で使用した発表資料です。Demoの部分は後ほど更新します...

Transcript

1. AI がAIをテストする？ Azure Prompt flowを使った感想とLLMのテストについて 株式会社おもしろテクノロジー Ibuki Noro
2. ©︎ OMOTECH 自己紹介 野呂 歩希Ibuki Noro @Norotororo 株式会社おもしろテクノロジー 代表取締役 ex. ソニーGM&O, eXmotion 北陸先端科学技術大学院大学 東京社会人コース(情報科学) Keyword: ソフトウェア工学, Agile, DevOps, 組込み, 新規事業 初LTです！！ JaSST nano ありがとうなの！！
3. ©︎ OMOTECH この発表では以下のことを話します • ツールの機能紹介 • 動作のデモ • 便利だと思った機能 • LLMを使ったアプリケーションのテストについて
4. ©︎ OMOTECH Azure Prompt flowとは Azure Machine Learning プロンプト フローは、大規模言語モデル (LLM) によって動作する AI アプリケーションの開発サイクル全体を合理化するために設計された開発ツールです。 LLM ベースの AI アプリケーションの勢いが世界中で拡大し続ける中、Azure Machine Learning プロンプト フローは、AI アプリケーションのプロトタイプ作成、実験、反復、デプロイの プロセスを簡素化する包括的なソリューションを提供します。 https://learn.microsoft.com/ja-jp/azure/machine-learning/prompt-flow/overview-what-is-prompt-flow Microsoft 公式文書より
5. ©︎ OMOTECH 何ができる？ （機能一部抜粋） • ローコードかつ多様な機能で LLMのプロンプトの開発ができる • AIを使ったプロンプトの評価ができる
6. Demo ©︎ OMOTECH
7. ©︎ OMOTECH 参考情報：Prompt flowの便利な特徴 • AzureのGUIだけでなく、VS Code（エディタ）上でもGUIでの開発ができる • VS Code Extensionとして提供 • CLIでの実行もできる • ローカル実行が可能 • リポジトリで開発しているアプリケーションを呼び出すことも可能 • GPTを使った評価以外にも多数のオプションがある • ベクトル評価，RAGのパラメータをどれくらい使っているか？ etc • かなりマニアックな印象 • そのままDocker imageにしてアプリケーションにすることもできる
8. ©︎ OMOTECH AIがいい感じにテストしてくれるんだ！ LLMのテストはなんもしなくていいじゃん！ ラッキー！
9. ©︎ OMOTECH んなわけがない
10. ©︎ OMOTECH ここからはテストの話
11. ©︎ OMOTECH Q. そもそもなんでそのソフトウェアは LLMを搭載することになったのでしょうか？
12. ©︎ OMOTECH A. ゆるい（=厳密でない）入力に対して いい感じの出力を返したいから ※発表者の私見です A. 流行ってるから
13. ©︎ OMOTECH いい感じの出力を返している と言えるためには？
14. ©︎ OMOTECH LLMのテストは厄介 • 基本：自然言語の入力に対して、その内容に沿った自然言語を出力する • LLMはタスクに対して汎用性能を持つ • [参考情報] GPT-4: 米国司法試験合格, 大学院試験合格 • 実際にアプリを開発してみると、最初からなんとなく動いてしまう • 一方で、精度100%は厳しい。いい感じの落とし所を探す必要性。 • プロダクトとしていい感じであることをテストするためには？ https://openai.com/research/gpt-4
15. ©︎ OMOTECH タスクの抽象度を変えて評価する 例) LLMにレシピを出力させる機能の確認項目 レシピが出力できること イタリア料理 のレシピ 和食 のレシピ 中華 のレシピ パスタ 寿司 ラーメン 餃子 抽象度が高すぎる これだけではちょっと不安 適切な抽象度 ある程度は網羅できそう 組み合わせテストもできそう ex. イタリア風おにぎり … 細かすぎる どこまで評価すればいいのかが不明瞭 大量の良質なデータがあれば この粒度でテストすることも可能 抽象度 高 低 補足：リリース後の入出力の精度監視・データの更新はMust
16. ©︎ OMOTECH （追加で）LLMの特有の観点 • ハルシネーション • 言語による精度・出力の偏り • プロンプトインジェクション etc… このあたりの知見をみんなで共有したいです！
17. ©︎ OMOTECH Channel Subscribe チャンネル登録 Goodボタン @Norotororo ※ありません ※ありません ※あります、ご意見お待ちしております！ この発表がおもしろいと思った人は
18. ご清聴ありがとうございました ©︎ OMOTECH