【JAWS DAYS 2026】業務(SAP)の中心で、AIを叫ぶ

Transcript

1. JAWS DAYS 2026 Mashup for the Future
2. #jawsug #jawsdays2026 #jawsdays2026_a • • •
3. #jawsug #jawsdays2026 #jawsdays2026_a • • •
5. #jawsug #jawsdays2026 #jawsdays2026_a   
6. #jawsug #jawsdays2026 #jawsdays2026_a   
7. #jawsug #jawsdays2026 #jawsdays2026_a ×
9. #jawsug #jawsdays2026 #jawsdays2026_a 
10. #jawsug #jawsdays2026 #jawsdays2026_a  
11. #jawsug #jawsdays2026 #jawsdays2026_a  
12. #jawsug #jawsdays2026 #jawsdays2026_a 
13. #jawsug #jawsdays2026 #jawsdays2026_a 
14. #jawsug #jawsdays2026 #jawsdays2026_a  AWS Cloud
15. #jawsug #jawsdays2026 #jawsdays2026_a 
16. #jawsug #jawsdays2026 #jawsdays2026_a  AWS Cloud
18. #jawsug #jawsdays2026 #jawsdays2026_a • • •
19. #jawsug #jawsdays2026 #jawsdays2026_a AIを使って開発 AIを使った システム 社内システム開発 AIエージェント 基盤整備 IaCコード生成環境整備 RAG環境整備 SAPデータ分析
20. #jawsug #jawsdays2026 #jawsdays2026_a AIを使って開発 AIを使った システム 社内システム開発 AIエージェント 基盤整備 IaCコード生成環境整備 RAG環境整備 SAPデータ分析 この辺りは、 まだ大丈夫 雰囲気でや ってません か？
21. #jawsug #jawsdays2026 #jawsdays2026_a • 生成AIを使ったシステムは、非決定論的な世界 • SI的なお仕事の場合であっても、テストで何らかの評価しないといけない • 製品/サービスの機能を使うのであれば、製品/サービス側の機能で担保で きる • 「正しく(想定通りに)動いている」事をどうやって確認しよう？ • どんな評価フレームワーク使う？ • その評価フレームワークが何を評価し、Metricsとして出力しているか理 解してますか？ 少し真面目なお話し
22. #jawsug #jawsdays2026 #jawsdays2026_a • 生成AIを使ったシステムは、非決定論的な世界 • SI的なお仕事の場合であっても、テストで何らかの評価しないといけない • 製品/サービスの機能を使うのであれば、製品/サービス側の機能で担保で きる • 「正しく(想定通りに)動いている」事をどうやって確認しよう？ • どんな評価フレームワーク使う？ • その評価フレームワークが何を評価し、Metricsとして出力しているか理 解してますか？ 少し真面目なお話し
23. Paper（論文）を読もう！
24. #jawsug #jawsdays2026 #jawsdays2026_a まずは、基本のRAG関連からでも論文を読んでみては？ • RAGAS: Automated Evaluation of Retrieval Augmented Generation • https://arxiv.org/pdf/2309.15217 • https://docs.ragas.io/en/stable/ • https://github.com/vibrantlabsai/ragas • RAGChecker • https://arxiv.org/pdf/2408.08067 • https://github.com/amazon-science/RAGChecker 先駆者の知恵！SIの現場で読む論文
25. #jawsug #jawsdays2026 #jawsdays2026_a まずは、基本のRAG関連からでも。 • RAGAS: Automated Evaluation of Retrieval Augmented Generation • https://arxiv.org/pdf/2309.15217 • https://docs.ragas.io/en/stable/ • https://github.com/vibrantlabsai/ragas • RAGChecker • https://arxiv.org/pdf/2408.08067 • https://github.com/amazon-science/RAGChecker 先駆者の知恵を活用しよう！SIの現場で読む論文
26. #jawsug #jawsdays2026 #jawsdays2026_a 例えば、Amazon AWS AIが公開しているRAGChecker 先駆者の知恵を活用しよう！SIの現場で読む論文 RAGシステム全体と しての評価指標 ナレッジ拡張に 関する評価指標 出力に関する 評価指標
27. #jawsug #jawsdays2026 #jawsdays2026_a • 論文 + toolセットで公開されているものを選べば、理解が捗る • どんなデータセットで、どんな出力をどの様に評価しているか • 今回のお仕事で何を指標にしたら良いか考える材料になる • 論文/Paper読むの怖く無いよ！ “なんとなく“な雰囲気からの卒業