Previewでもここまで追える！ Azure AI Foundryで始めるLLMトレース 

名前 吉川友哉 業務 SIerの生成AI活用推進 社内で Azure OpenAI API 公開・運用 生成AI LT大会 社内プロセスの生成AIによる業務効率化 今期のおすすめアニメ ざつ旅 That's Journey ロックは淑女の嗜みでして 自己紹介 01 X：@Tomodo_ysys 

Why LLM Tracing？ 02 

└ 2025 春の今も “Preview” ロゴ付きの新機能 Announced at Microsoft Ignite 2024 (Nov 2024) Azure AI Foundry ― LLM Tracing (Public Preview) 03 SDK が OpenTelemetry 形式で span を発行 Application Insights に自動送信（追加インフラ 要らず） Foundry ポータルでタイムライン & コスト/レイ テンシを可視化 🛠️ しくみ 

pythonでLLMを呼び出し、AI Foundryでトレース 🔔今日試す内容 🛠️ 事前準備 今日試す内容 03 AI FoundryのHub,Projectの作成 AI FoundryにApplication Insightsを紐づけ モデルカタログでLLMをデプロイ 事前準備手順、コードなど詳細はZenn記事で！ 

✍️openai パッケージ似た使用感で使えるMS謹製のSDK ※Inference = 推論 一番簡単な方法でさっと試す 04 一番簡単な方法は？ → Azure AI Inference SDKを使う OpenAI SDK Inference SDK 

トレースの設定自体は2行で終わり 05 Application Insightsの接続識別子取得 Traceの設定 InferenceSDKで普通にAI呼び出し （Traceの見やすさのため `AIInference_AzureMonitor_Dist`と名前だけ設定） Azure Monitor Opentelemetryディストリビ ューションをimport 

AI FoundryからLLM用トレースが見られる 06 

Application Insights側からも確認可能 06 ※見え方わかりやすくするために、DeepSeekの前後に１秒pause処理を挟んでいます。 

Azure AIのモデルを呼び出すようライブラリ langchain-azure-ai AI Foundryにトレースするモジュールが存在 AI FoundryだけでなくAOAIも対応 07 📚MS LearnにLangchainからのトレース方法解説あり （疑問1：Inference SDK以外からのトレースは？） Develop applications with LangChain and Azure AI Foundry 

LangchainからAI Foundryのモデルをトレース 08 内部的には同じAzure Monitor Opentelemetryディストリ ビューションが使われており、同じように表示 

（疑問2：Azure関係ないモデルでもトレース可？） 09 📚MSの人がブログを出してくれ ている Langchainを使って任意のモデルのト レースをAI Foundryに表示するコード サンプル Tracing LangChain Code on Azure with OpenTelemetry and Application Insights 

AI FoundryでClaude 3.7 Sonnetをトレース 10 見た目は本家よりちょっと素っ気ない（Raw JSON） 

まとめ 10 🔷 数行のコードでAzure AI Foundry上でLLMトレースが可能 🔷 InferenceSDKだけでなく、Langchainなど他SDKでも可能 🔷 Langchain使えばAzureで公開されているモデル以外もAI Foundryでトレース可能 🔷 ただし、見た目は少し劣る 

ご清聴ありがとうございました！ THANK YOU X：@Tomodo_ysys