生成AIアプリを観測してみよう！

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

18:00-18:05 オープニング 18:05-18:35 座学・生成AIの課題・OpenLLMetry/OpenTelemetry ・Instana 18:35-18:55 デモ・シナリオ/デモ環境説明(Killercoda) ・OpenLLMetryデモ 18:55-19:00 QA・クロージング本日のアジェンダ Copyright ©2024 NS Solutions Corporation, IBM Corporation.

Slide 4

Slide 4 text

Slide 5

Slide 5 text

当イベントは日本IBMおよび日鉄ソリューションズの有志エンジニアによって企画された勉強会です。クラウドネイティブやマイクロサービスなどのテーマを中心に、今後も色々な勉強会・イベントを開催する予定です。本勉強会の内容は、エンジニア個人の見解であり、所属する企業の公式見解ではありません。セッション中はマイクミュートでの参加にご協力お願いします。本イベントは録画してアーカイブ公開する予定ですので、その点ご了承ください。本発表で利用している製品の名称およびロゴは下記の個人、組織または企業の商標となります。 • IBM、watsonx 、IBM Instana®は、世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。 • NS（ロゴ）、NSSOL、NS Solutionsは、日鉄ソリューションズ株式会社の登録商標です。 • Azureは、マイクロソフトグループの企業の商標です。 • CNCF、Kubernetes は The Linux Foundationの登録商標です。 • OpenAIはOpenAIの登録商標です。 • その他本⽂記載の会社名及び製品名は、それぞれ各社の商標⼜は登録商標です。はじめに Copyright ©2024 NS Solutions Corporation, IBM Corporation.

Slide 6

Slide 6 text

目的 • 生成AIの可観測性を学ぶ・体験するゴール • 生成AIの可観測性にまつわる課題・ニーズ・ソリューションを理解する • ソリューション (OpenLLMetry w/Instana) をデモを通して理解する →AIアプリのトークン使用量、レイテンシー、コストなどの追跡対象 • 生成AIに興味があるエンジニア • 生成AIのエンジニアこのセッションについて Copyright ©2024 NS Solutions Corporation, IBM Corporation. • 本日は主に座学と簡単なデモで雰囲気だけでも味わってもらえれば嬉しいです • 次回勉強会で理解をより深めるためのStep By Stepのハンズオンを計画中

Slide 7

Slide 7 text

Slide 8

Slide 8 text

喜多司(きたつかさ) [email protected] <所属> 日鉄ソリューションズシステム研究開発センター <経歴> 2019年に日鉄ソリューションズに入社。配属当初はKubernetesのNetworkPolicyの調査検証を実施。その後、Azureのクラウドネイティブ案件に参画し、アーキテクト・DevOps・SRE等を経験。 <趣味など> （フレッシュで酸のある）日本酒が好き（長崎県のスーパーで売られている、甘い）ごま豆腐が好き（マルチプレイで仲間とドキドキを共有できる）FPSが好き自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.

Slide 9

Slide 9 text

Slide 10

Slide 10 text

江﨑崇浩 (えさきたかひろ) <所属> 日本IBM テクノロジー事業本部カスタマー・サクセス・マネージャー (CSM) <経歴> ビジネス／ITコンサルタント：BPR、SCM改革、システム刷新新規事業開発：コンサル社内やJVによる新規事業案件にてアジャイル開発 CSM：日本IBMに参画してAI・クラウドソリューションの活用促進やコミュニティ活動 (2021-) <趣味など> 筋トレ：年内目標はベンチプレス100kg お酒：ウィスキー、ブランデー、ジン、ビール…何でも自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

AIシステム提供者の課題 Copyright ©2024 NS Solutions Corporation, IBM Corporation. 不透明性・ブラックボックスパフォーマンス ROI/コスト管理 • LLMの出力結果がどのようにもたらされたか把握するのが困難 • 特定のプロンプトやAPIリクエストによっては処理時間が不安定になって遅延 • プロンプトやAPIリクエストの実行時に利用されるトークンの追跡が困難 ※主要LLMプロバイダーはトークン利用料課金が多い

Slide 17

Slide 17 text

LLMアプリの可観測性に関する課題のアプローチ Copyright ©2024 NS Solutions Corporation, IBM Corporation. どんなモデル/APIが、どれくらい時間をかけて、どれだけのトークンを使用しているかを正確に把握できるとLLMアプリの管理がしやすい • 目的：LLMアプリケーションの可観測性を強化したい • アプローチ：オープンソースのOpenLLMetryを活用して計測しよう不透明性・ブラックボックスパフォーマンス ROI/コスト管理

Slide 18

Slide 18 text

今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jeager Instana ・・・可視化ツール OTLP exporter ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry トークン量などの出力

Slide 19

Slide 19 text

Slide 20

Slide 20 text

OpenLLMetryとは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • OpenTelemetryに LLMの出⼒とデバック機能を拡張したOSS LLMアプリケーションの可観測性を提供トークン使用量、レイテンシー、コストなどの追跡 • OpenLLMetryはOpenTelemetryのプロトコルを使用しているので以下の対応が可能メトリクス、ログ、トレースも収集可能既存のApplication Performance Monitoring (APM) 製品(Instanaなど)にも接続できるトークン量などの出力

Slide 21

Slide 21 text

トークン使用量とは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • LLMプロバイダーによる課金は「トークン」単位になることが多いトークンとは、LLMが生成/処理する単位で一般的には単語や⽂字のこと大体1⽂字当たり1トークンだが、⽂字の種類によって変わる • 個々のトークン使用量に関する特定は困難 LLMプロバイダーの準備するダッシュボードで全体的な量は分かることもあるが、リクエストごとに各LLMアプリの処理によるトークン使用量を把握するのは難しい（個々の処理が想定しないコストになっていないか把握・分析するのが難しい） • トークン使用量が把握できると以下のシナリオで役立つ予算管理：コストが把握できるようになり、予算内での使用が計画できる効率的な設計：トークン数を抑えるようなクエリ設計等の調整が可能

Slide 22

Slide 22 text

今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jeager Instana ・・・可視化ツール OTLP exporter トークン量などの出力

Slide 23

Slide 23 text

【参考情報】OpenTelemetryとは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • CNCFプロジェクトの1つでテレメトリデータを収集するための統一規格 • システムの状態を示すさまざまなシグナルの収集や送信を標準化する可観測性フレームワークで、ツールやAPI、SDKを提供 • 主要なシグナルは3つ(トレーシング・メトリクス・ログ)あり、これらを基に、アプリケーションの動作やパフォーマンスを詳細に理解できる様にしてくれる https://opentelemetry.io/

Slide 24

Slide 24 text

Slide 25

Slide 25 text

IBM Observability by Instanaとは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • システムやアプリケーションの状態を可視化するAPM製品システムの振る舞いを可視化し、不透明なシステムを透明なシステムに変える再起動や再デプロイ不要であらゆる種類のパフォーマンスや問題の分析が可能パフォーマンスの可視化障害分析のサポート

Slide 26

Slide 26 text

今回紹介する技術/ツールの概念イメージ（再掲） Copyright ©2024 NS Solutions Corporation, IBM Corporation. ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jeager Instana ・・・可視化ツール OTLP exporter トークン量などの出力

Slide 27

Slide 27 text

Slide 28

Slide 28 text

デモの説明 Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ@Killercoda Jeager Instana ・・・可視化ツールトークン量などの出力 • 内容：OpenAIのサンプルアプリのトークン使用量などをOpenLLMetryとInstanaで観測 Instanaのエージェント導入 @サンプルアプリ環境 OpenLLMetryの設定 @サンプルアプリ環境サンプルアプリの実行 Instana上で観測 ※今回はサンプルアプリ環境としてKillercodaというサービスを利用 OTLP exporter

Slide 29

Slide 29 text

Slide 30

Slide 30 text

• 生成AIの可観測性の課題→OpneLLmetryによるトークン使用量の可視化まとめ Copyright ©2024 NS Solutions Corporation, IBM Corporation. 不透明性・ブラックボックスパフォーマンス ROI/コスト管理 OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jeager Instana ・・・可視化ツールトークン量などの出力 • 予算管理：コストが把握できるようになり、予算内での使用が計画できる • 効率的な設計：トークン数を抑えるようなクエリ設計等の調整が可能 OTLP exporter

Slide 31

Slide 31 text

＜生成AIの可観測性体験ハンズオン (仮)＞ 1. 生成AIサンプルアプリの立ち上げ @Killercoda 2. OpenTelemetryを使ったトレース情報取得 @Killercoda/Jeager 3. OpenLLMemetryを使ったトレース情報取得 @Killercoda/Jeager 4. OpenLLMemetryを使ったトレース情報取得 @Instana (デモのみの可能性) 次回の予定 Copyright ©2024 NS Solutions Corporation, IBM Corporation. • 10-12月にイベント公開する予定なのでぜひご参加ください！ • 企画にあたって、アンケートのご協⼒もお願いします！

Slide 32

Slide 32 text

Slide 33

Slide 33 text

日鉄ソリューションズでは、クラウドネイティブ技術を用いてお客様のDXを推進する仲間を募集中です。ご興味ある方は、ぜひお問い合わせください。弊社人事より、ご連絡を差し上げます。 We are hiring!! 「NSSOL キャリア採用」採用ページ： https://www.nssol.nipponsteel.com/recruit/careers/ Copyright ©2024 NS Solutions Corporation, IBM Corporation.