OpenLLMetry-Hands-On 生成AIアプリを観測してみよう！OpenLLMetryハンズオン編

次のオンラインイベントの投影資料です。

＜タイトル＞
生成AIアプリを観測してみよう！OpenLLMetryハンズオン編

＜イベントページ＞
https://ibm-developer.connpass.com/event/333999/

＜概要＞
現在、⽣成AIに関する関⼼が⾼まっており、⼤規模⾔語モデル(LLM)を活⽤したAIアプリケーションに注目が集まっております。

そのような中、代表的なLLM (GhatGPT, Gemini, IBM Watsonx など)のサービスプロバイダーの多くははinput / outputのトークン利用量に応じた課金体系を取っている状況です。

しかし、LLMを活用したAIアプリケーションを管理する上で、実際のトークン利用量を把握するのは難しく、トークン利用量を管理しながらLLMコスト自体を適切にコントロールすることへのニーズが高まっています。

そこで、前回の勉強会 では、このようなLLMのトークン利用量やコストの把握に対する課題を解決するためのオープンソース・ソフトウェアの「OpenLLMetry」について座学で学びました。

OpenLLMetryを活⽤することで、⽣成AIが組み込まれたLLMアプリケーションの可観測性を獲得し、トークン使用量、レイテンシー、コストなどの追跡をすることでLLMアプリケーションの可観測性を強化することができます。

今回は、OpenLLMetryによるLLMの可観測性の担保を体験してもらうためのハンズオンを実施します。

Transcript

1. 生成AIアプリを観測してみよう！ OpenLLMetryハンズオン編 Copyright ©2024 NS Solutions Corporation, IBM Corporation.
2. Ask the Speaker 写真撮影 動画撮影 資料公開 SNS拡散 セッションにてご 質問ください ◯ × 後日公開します ◯ ◯ #IBMTechXchange #Dojo #AI 生成AIアプリを観測してみよう！OpenLLMetryハンズオン編 Copyright ©2024 NS Solutions Corporation, IBM Corporation.
3. 18:00-18:05 オープニング 18:05-18:15 前回の振り返り ・生成AIの課題 ・OpenLLMetry/OpenTelemetry ・Instana/Jaeger 18:15-18:55 ハンズオン ・シナリオ/ハンズオン説明(Killercoda) ・OpenLLMetryハンズオン 18:55-19:00 QA・クロージング 本日のアジェンダ Copyright ©2024 NS Solutions Corporation, IBM Corporation.
4. オープニング Copyright ©2024 NS Solutions Corporation, IBM Corporation.
5. 当イベントは日本IBMおよび日鉄ソリューションズの有志エンジニアによって企画された勉強会です。 クラウドネイティブやマイクロサービスなどのテーマを中心に、今後も色々な勉強会・イベントを開催する予定です。 本勉強会の内容は、エンジニア個人の見解であり、所属する企業の公式見解ではありません。 セッション中はマイクミュートでの参加にご協力お願いします。 本イベントは録画してアーカイブ公開する予定ですので、その点ご了承ください。 本発表で利用している製品の名称およびロゴは下記の個人、組織または企業の商標となります。 • IBM、watsonx 、IBM Instana®は、 世界の多くの国で登録されたInternational Business Machines Corporationの商標で す。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点での IBM の商標リス トについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。 • NS（ロゴ）、NSSOL、NS Solutionsは、日鉄ソリューションズ株式会社の登録商標です。 • Azureは、マイクロソフト グループの企業の商標です。 • CNCF、Kubernetes は The Linux Foundationの登録商標です。 • OpenAIはOpenAIの登録商標です。 • その他本⽂記載の会社名及び製品名は、それぞれ各社の商標⼜は登録商標です。 はじめに Copyright ©2024 NS Solutions Corporation, IBM Corporation.
6. 目的 • OpenLLMetryによるLLMの可観測性の担保を体験する ゴール • 生成AIの可観測性にまつわる課題・ニーズ・ソリューションを理解する • ソリューション (OpenLLMetry) をハンズオンを通して理解する →生成AIアプリのトークン使用量、レイテンシー、コストなどの追跡 対象 • 生成AIに興味があるエンジニア/生成AIのエンジニア 事前準備 • Killercodaのアカウント準備 ※本日はアカウント登録のフォローアップは時間の都合上できない点をあらかじめご了承ください このセッションについて Copyright ©2024 NS Solutions Corporation, IBM Corporation. • 本日は主に座学とハンズオンで雰囲気だけでも味わってもらえれば嬉しいです
7. アンケート QRコードを読み取るか、 チャットのリンクからアクセスいただいて記入をお願いします Copyright ©2024 NS Solutions Corporation, IBM Corporation. https://app.sli.do/event/6Ad84eteP1LbE7jqua7GE4
8. 喜多 司(きた つかさ) kita.tsukasa.7ef@jp.nssol.nipponsteel.com <所属> 日鉄ソリューションズ システム研究開発センター <経歴> 2019年に日鉄ソリューションズに入社。 配属当初はKubernetesのNetworkPolicyの調査検証を実施。 その後、Azureのクラウドネイティブ案件に参画し、アーキテクト・DevOps・SRE等を経験。 <趣味など> （フレッシュで酸のある）日本酒が好き （長崎県のスーパーで売られている、甘い）ごま豆腐が好き （マルチプレイで仲間とドキドキを共有できる）FPSが好き 自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.
9. 菊澤 佑斗 (きくさわ ゆうと) <所属> 日鉄ソリューションズ システム研究開発センター <経歴> • 2023年 中途入社 • - クラウドネイティブ分野の研究開発 <趣味など> 舞浜の夢の国に行く 映画鑑賞 自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.
10. 江﨑 崇浩 (えさきたかひろ) <所属> 日本IBM テクノロジー事業本部 カスタマー・サクセス・マネージャー (CSM) <経歴> ビジネス／ITコンサルタント：BPR、SCM改革、システム刷新 新規事業開発：コンサル社内やJVによる新規事業案件にてアジャイル開発 CSM：日本IBMに参画してAI・クラウドソリューションの活用促進やコミュニティ活動 (2021-) <趣味など> 筋トレ：年内目標はベンチプレス100kg お酒：ウィスキー、ブランデー、ジン、ビール…何でも 自己紹介 Copyright ©2024 NS Solutions Corporation, IBM Corporation.
11. 前回の振り返り Copyright ©2024 NS Solutions Corporation, IBM Corporation.
12. 前回の勉強会 Copyright ©2024 NS Solutions Corporation, IBM Corporation. 生成AIアプリを観測してみよう！ - connpass 前回参加していなくても理解でき る内容なので安心してください
13. LLMアプリの可観測性に関する課題のアプローチ Copyright ©2024 NS Solutions Corporation, IBM Corporation. どんなモデル/APIが、どれく らい時間をかけて、どれだけ のトークンを使用しているか を正確に把握できるとLLMア プリの管理がしやすい • 目的：LLMアプリケーションの可観測性を強化したい • アプローチ：オープンソースのOpenLLMetryを活用して計測しよう 不透明性・ ブラックボックス パフォーマンス ROI/コスト管理 • トークンを把握すべき理由は以下の通り 1. AIモデルごとに処理可能なトークン数が異なるため、最適なモデルを選択する基準となる 2. トークンごとのAPI利用料金がAIモデルによって異なるため、コスト管理が容易になる
14. 今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jaeger Instana ・・・ 可視化ツール OTLP exporter ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry トークン使用 量などの出力
15. 今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jaeger Instana ・・・ 可視化ツール OTLP exporter ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry トークン使用 量などの出力
16. OpenLLMetryとは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • OpenTelemetryに LLMの出⼒とデバッグ機能を拡張したOSS 特定のLLMプロバイダーに対する詳細なモニタリングとデバッグ機能を提供し、LLMアプリ ケーションの可観測性を提供 トークン使用量、レイテンシー、コストなどの追跡 • OpenLLMetryはOpenTelemetryのプロトコルを使用しているので次の対応が可能 メトリクス、ログ、トレースも収集可能 既存のApplication Performance Monitoring (APM) 製品(Instanaなど)にも接続できる
17. トークン使用量とは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • LLMプロバイダーによる課金は「トークン」単位になることが多い トークンとは、LLMが生成/処理する単位で一般的には単語や⽂字のこと 大体1⽂字当たり1トークンだが、⽂字の種類によって変わる • トークン使用量は、LLMがテキストを生成または処理時に使用されるトークン数を 示す 入力(ユーザが入力したテキスト)と出力(LLMが生成するテキスト)の合計値 • 個々のトークン使用量に関する特定は困難 LLMプロバイダーの準備するダッシュボードで全体的な量は分かることもあるが、 リクエストごとに各LLMアプリの処理によるトークン使用量を把握するのは難しい （個々の処理が想定しないコストになっていないか把握・分析するのが難しい） • トークン使用量が把握できると以下のシナリオで役立つ 予算管理：コストが把握できるようになり、予算内での使用が計画できる 効率的な設計：トークン数を抑えるようなクエリ設計等の調整が可能
18. 今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jaeger Instana ・・・ 可視化ツール OTLP exporter ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry トークン使用 量などの出力
19. OpenTelemetryとは Copyright ©2024 NS Solutions Corporation, IBM Corporation. • CNCFプロジェクトの1つでテレメトリデータを収集するための統一規格 • システムの状態を示すさまざまなシグナルの収集や送信を標準化する可観測性フ レームワークで、ツールやAPI、SDKを提供 • 主要なシグナルは3つ(トレーシング・メトリクス・ログ)あり、これらを基に、ア プリケーションの動作やパフォーマンスを詳細に理解できる様にしてくれる https://opentelemetry.io/
20. 今回紹介する技術/ツールの概念イメージ Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jaeger Instana ・・・ 可視化ツール OTLP exporter ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry トークン使用 量などの出力
21. JaegerとInstana (可視化ツール) Copyright ©2024 NS Solutions Corporation, IBM Corporation. • Jaeger：オープンソースの分散トレーシングプラットフォーム • システムやアプリケーションのパフォーマンスのボトルネックを特定し、 エラーのトラブルシューティングを支援 • システム全体の信頼性を向上させるために、トランザクションの流れを可視化 • Instana※：アプリケーションの状態を可視化するAPM製品 ※IBM Observability by Instana • システムの振る舞いを可視化し、不透明なシステムを透明なシステムに変える • 再起動や再デプロイ不要であらゆる種類のパフォーマンスや問題の分析が可能 パフォーマンスの可視化 障害分析のサポート
22. 今回紹介する技術/ツールの概念イメージ（再掲） Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jaeger Instana ・・・ 可視化ツール OTLP exporter ※OpenLLMetryは様々な技術/ツールに対応 https://github.com/traceloop/OpenLLMetry トークン使用 量などの出力
23. ハンズオン Copyright ©2024 NS Solutions Corporation, IBM Corporation.
24. ハンズオンの説明 Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ サンプルアプリ Jaeger Instana ・・・ 可視化ツール トークン使用量など LLM に特化した テレメトリを出力 • 内容：OpenAIを呼び出すサンプルアプリの可観測性を高め、トークン使用量などをOpenLLMetryで観測 ※今回はサンプルアプリや可視化ツールの実行環境としてKillercodaというサービスを利用 OTLP exporter OpenLLMetryを 計装した サンプルアプリの実行 OpenAIを呼び出す サンプルアプリの実行 OpenTelemetryで 計装した サンプルアプリの実行 Instana上で観測 （時間があれば 前回と同じデモ） 標準的な テレメトリを出力 LLM Step 2. Step 3. Step 1.
25. ハンズオンの説明 Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ サンプルアプリ Jaeger Instana ・・・ 可視化ツール トークン使用量など LLM に特化した テレメトリを出力 • 内容：OpenAIを呼び出すサンプルアプリの可観測性を高め、トークン使用量などをOpenLLMetryで観測 ※今回はサンプルアプリや可視化ツールの実行環境としてKillercodaというサービスを利用 OTLP exporter OpenLLMetryを 計装した サンプルアプリの実行 OpenAIを呼び出す サンプルアプリの実行 OpenTelemetryで 計装した サンプルアプリの実行 Instana上で観測 （時間があれば 前回と同じデモ） 標準的な テレメトリを出力 LLM Step 2. Step 3. Step 1.
26. ハンズオンの説明 Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ サンプルアプリ Jaeger Instana ・・・ 可視化ツール トークン使用量など LLM に特化した テレメトリを出力 • 内容：OpenAIを呼び出すサンプルアプリの可観測性を高め、トークン使用量などをOpenLLMetryで観測 ※今回はサンプルアプリや可視化ツールの実行環境としてKillercodaというサービスを利用 OTLP exporter OpenLLMetryを 計装した サンプルアプリの実行 OpenAIを呼び出す サンプルアプリの実行 OpenTelemetryで 計装した サンプルアプリの実行 Instana上で観測 （時間があれば 前回と同じデモ） 標準的な テレメトリを出力 LLM Step 2. Step 3. Step 1.
27. ハンズオンの説明 Copyright ©2024 NS Solutions Corporation, IBM Corporation. OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ サンプルアプリ Jaeger Instana ・・・ 可視化ツール トークン使用量など LLM に特化した テレメトリを出力 • 内容：OpenAIを呼び出すサンプルアプリの可観測性を高め、トークン使用量などをOpenLLMetryで観測 ※今回はサンプルアプリや可視化ツールの実行環境としてKillercodaというサービスを利用 OTLP exporter OpenLLMetryを 計装した サンプルアプリの実行 OpenAIを呼び出す サンプルアプリの実行 OpenTelemetryで 計装した サンプルアプリの実行 Instana上で観測 （時間があれば 前回と同じデモ） 標準的な テレメトリを出力 LLM Step 2. Step 3. Step 1.
28. QA・クロージング Copyright ©2024 NS Solutions Corporation, IBM Corporation.
29. • 生成AIの可観測性の課題→OpneLLMetryによるトークン使用量の可視化 まとめ Copyright ©2024 NS Solutions Corporation, IBM Corporation. 不透明性・ ブラックボックス パフォーマンス ROI/コスト管理 OpenLLMetry OpenTelemetry OpenAI watsonx ・・・ LLMアプリ Jaeger Instana ・・・ 可視化ツール トークン使用 量などの出力 • 予算管理：コストが把握できるようになり、予算内での使用が計画できる • 効率的な設計：トークン数を抑えるようなクエリ設計等の調整が可能 OTLP exporter
30. アンケート QRコードを読み取るか、 チャットのリンクからアクセスいただいて記入をお願いします Copyright ©2024 NS Solutions Corporation, IBM Corporation. https://app.sli.do/event/6Ad84eteP1LbE7jqua7GE4
31. 日鉄ソリューションズでは、 クラウドネイティブ技術を用いてお客様のDXを推進する仲間を募集中です。 ご興味ある方は、ぜひお問い合わせください。 弊社人事より、ご連絡を差し上げます。 We are hiring!! 「NSSOL キャリア採用」 採用ページ： https://www.nssol.nipponsteel.com/recruit/careers/ Copyright ©2024 NS Solutions Corporation, IBM Corporation.
32. QA Copyright ©2024 NS Solutions Corporation, IBM Corporation. • チャット • マイクオン