OpenLLMetry-Hands-On 生成AIアプリを観測してみよう！OpenLLMetryハンズオン編

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

18:00-18:05 オープニング 18:05-18:15 前回の振り返り・生成AIの課題・OpenLLMetry/OpenTelemetry ・Instana/Jaeger 18:15-18:55 ハンズオン・シナリオ/ハンズオン説明(Killercoda) ・OpenLLMetryハンズオン 18:55-19:00 QA・クロージング本日のアジェンダ Copyright ©2024 NS Solutions Corporation, IBM Corporation.

Slide 4

Slide 4 text

Slide 5

Slide 5 text

当イベントは日本IBMおよび日鉄ソリューションズの有志エンジニアによって企画された勉強会です。クラウドネイティブやマイクロサービスなどのテーマを中心に、今後も色々な勉強会・イベントを開催する予定です。本勉強会の内容は、エンジニア個人の見解であり、所属する企業の公式見解ではありません。セッション中はマイクミュートでの参加にご協力お願いします。本イベントは録画してアーカイブ公開する予定ですので、その点ご了承ください。本発表で利用している製品の名称およびロゴは下記の個人、組織または企業の商標となります。 • IBM、watsonx 、IBM Instana®は、世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。 • NS（ロゴ）、NSSOL、NS Solutionsは、日鉄ソリューションズ株式会社の登録商標です。 • Azureは、マイクロソフトグループの企業の商標です。 • CNCF、Kubernetes は The Linux Foundationの登録商標です。 • OpenAIはOpenAIの登録商標です。 • その他本⽂記載の会社名及び製品名は、それぞれ各社の商標⼜は登録商標です。はじめに Copyright ©2024 NS Solutions Corporation, IBM Corporation.

Slide 6

Slide 6 text

目的 • OpenLLMetryによるLLMの可観測性の担保を体験するゴール • 生成AIの可観測性にまつわる課題・ニーズ・ソリューションを理解する • ソリューション (OpenLLMetry) をハンズオンを通して理解する →生成AIアプリのトークン使用量、レイテンシー、コストなどの追跡対象 • 生成AIに興味があるエンジニア/生成AIのエンジニア事前準備 • Killercodaのアカウント準備 ※本日はアカウント登録のフォローアップは時間の都合上できない点をあらかじめご了承くださいこのセッションについて Copyright ©2024 NS Solutions Corporation, IBM Corporation. • 本日は主に座学とハンズオンで雰囲気だけでも味わってもらえれば嬉しいです

Slide 7

Slide 7 text

Slide 8

Slide 8 text

喜多司(きたつかさ) [email protected] <所属> 日鉄ソリューションズシステム研究開発センター <経歴> 2019年に日鉄ソリューションズに入社。配属当初はKubernetesのNetworkPolicyの調査検証を実施。その後、Azureのクラウドネイティブ案件に参画し、アーキテクト・DevOps・SRE等を経験。 <趣味など> （フレッシュで酸のある）日本酒が好き（長崎県のスーパーで売られている、甘い）ごま豆腐が好き（マルチプレイで仲間とドキドキを共有できる）FPSが好き自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.

Slide 9

Slide 9 text

Slide 10

Slide 10 text

江﨑崇浩 (えさきたかひろ) <所属> 日本IBM テクノロジー事業本部カスタマー・サクセス・マネージャー (CSM) <経歴> ビジネス／ITコンサルタント：BPR、SCM改革、システム刷新新規事業開発：コンサル社内やJVによる新規事業案件にてアジャイル開発 CSM：日本IBMに参画してAI・クラウドソリューションの活用促進やコミュニティ活動 (2021-) <趣味など> 筋トレ：年内目標はベンチプレス100kg お酒：ウィスキー、ブランデー、ジン、ビール…何でも自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

LLMアプリの可観測性に関する課題のアプローチ Copyright ©2024 NS Solutions Corporation, IBM Corporation. どんなモデル/APIが、どれくらい時間をかけて、どれだけのトークンを使用しているかを正確に把握できるとLLMアプリの管理がしやすい • 目的：LLMアプリケーションの可観測性を強化したい • アプローチ：オープンソースのOpenLLMetryを活用して計測しよう不透明性・ブラックボックスパフォーマンス ROI/コスト管理 • トークンを把握すべき理由は以下の通り 1. AIモデルごとに処理可能なトークン数が異なるため、最適なモデルを選択する基準となる 2. トークンごとのAPI利用料金がAIモデルによって異なるため、コスト管理が容易になる

Slide 14

Slide 14 text

今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jaeger Instana ・・・可視化ツール OTLP exporter ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry トークン使用量などの出力

Slide 15

Slide 15 text

Slide 16

Slide 16 text

OpenLLMetryとは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • OpenTelemetryに LLMの出⼒とデバッグ機能を拡張したOSS 特定のLLMプロバイダーに対する詳細なモニタリングとデバッグ機能を提供し、LLMアプリケーションの可観測性を提供トークン使用量、レイテンシー、コストなどの追跡 • OpenLLMetryはOpenTelemetryのプロトコルを使用しているので次の対応が可能メトリクス、ログ、トレースも収集可能既存のApplication Performance Monitoring (APM) 製品(Instanaなど)にも接続できる

Slide 17

Slide 17 text

トークン使用量とは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • LLMプロバイダーによる課金は「トークン」単位になることが多いトークンとは、LLMが生成/処理する単位で一般的には単語や⽂字のこと大体1⽂字当たり1トークンだが、⽂字の種類によって変わる • トークン使用量は、LLMがテキストを生成または処理時に使用されるトークン数を示す入力(ユーザが入力したテキスト)と出力(LLMが生成するテキスト)の合計値 • 個々のトークン使用量に関する特定は困難 LLMプロバイダーの準備するダッシュボードで全体的な量は分かることもあるが、リクエストごとに各LLMアプリの処理によるトークン使用量を把握するのは難しい（個々の処理が想定しないコストになっていないか把握・分析するのが難しい） • トークン使用量が把握できると以下のシナリオで役立つ予算管理：コストが把握できるようになり、予算内での使用が計画できる効率的な設計：トークン数を抑えるようなクエリ設計等の調整が可能

Slide 18

Slide 18 text

Slide 19

Slide 19 text

OpenTelemetryとは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • CNCFプロジェクトの1つでテレメトリデータを収集するための統一規格 • システムの状態を示すさまざまなシグナルの収集や送信を標準化する可観測性フレームワークで、ツールやAPI、SDKを提供 • 主要なシグナルは3つ(トレーシング・メトリクス・ログ)あり、これらを基に、アプリケーションの動作やパフォーマンスを詳細に理解できる様にしてくれる https://opentelemetry.io/

Slide 20

Slide 20 text

Slide 21

Slide 21 text

JaegerとInstana (可視化ツール) Copyright ©2024 NS Solutions Corporation, IBM Corporation. • Jaeger：オープンソースの分散トレーシングプラットフォーム • システムやアプリケーションのパフォーマンスのボトルネックを特定し、エラーのトラブルシューティングを支援 • システム全体の信頼性を向上させるために、トランザクションの流れを可視化 • Instana※：アプリケーションの状態を可視化するAPM製品 ※IBM Observability by Instana • システムの振る舞いを可視化し、不透明なシステムを透明なシステムに変える • 再起動や再デプロイ不要であらゆる種類のパフォーマンスや問題の分析が可能パフォーマンスの可視化障害分析のサポート

Slide 22

Slide 22 text

今回紹介する技術/ツールの概念イメージ（再掲） Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jaeger Instana ・・・可視化ツール OTLP exporter ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry トークン使用量などの出力

Slide 23

Slide 23 text

Slide 24

Slide 24 text

ハンズオンの説明 Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・サンプルアプリ Jaeger Instana ・・・可視化ツールトークン使用量など LLM に特化したテレメトリを出力 • 内容：OpenAIを呼び出すサンプルアプリの可観測性を高め、トークン使用量などをOpenLLMetryで観測 ※今回はサンプルアプリや可視化ツールの実行環境としてKillercodaというサービスを利用 OTLP exporter OpenLLMetryを計装したサンプルアプリの実行 OpenAIを呼び出すサンプルアプリの実行 OpenTelemetryで計装したサンプルアプリの実行 Instana上で観測（時間があれば前回と同じデモ）標準的なテレメトリを出力 LLM Step 2. Step 3. Step 1.

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

• 生成AIの可観測性の課題→OpneLLMetryによるトークン使用量の可視化まとめ Copyright ©2024 NS Solutions Corporation, IBM Corporation. 不透明性・ブラックボックスパフォーマンス ROI/コスト管理 OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jaeger Instana ・・・可視化ツールトークン使用量などの出力 • 予算管理：コストが把握できるようになり、予算内での使用が計画できる • 効率的な設計：トークン数を抑えるようなクエリ設計等の調整が可能 OTLP exporter

Slide 30

Slide 30 text

Slide 31

Slide 31 text

日鉄ソリューションズでは、クラウドネイティブ技術を用いてお客様のDXを推進する仲間を募集中です。ご興味ある方は、ぜひお問い合わせください。弊社人事より、ご連絡を差し上げます。 We are hiring!! 「NSSOL キャリア採用」採用ページ： https://www.nssol.nipponsteel.com/recruit/careers/ Copyright ©2024 NS Solutions Corporation, IBM Corporation.

Slide 32

Slide 32 text