Slide 1

Slide 1 text

1 © 2025 Leverages Co., Ltd. レバレジーズのLangfuse活用

Slide 2

Slide 2 text

2 © 2025 Leverages Co., Ltd. 自己紹介

Slide 3

Slide 3 text

3 © 2025 Leverages Co., Ltd. 苑田 朝彰 普段の業務内容 ● AI エージェント開発(Google ADK, Strands Agent) ● 社内AI推進(AI駆動開発、Agent開発) ● クラウド(AWS, Google Cloud) 資格 ● AWS Community Builders(ML) ● 甲賀流忍者検定(中級) ● 2024 AWS Top Engineers(前職) 趣味 ● 月一で面白いことをするのにハマってます ○ Spartanレース ○ 100kmウォーキング ○ 無人島かくれんぼ ○ 滝行 SNS ● https://x.com/sonoda_mj ● https://zenn.dev/tomomj ● https://note.com/sonoda_mj Tomotada Sonoda システム本部/テクノロジー戦略室/AIMLチーム 自己紹介

Slide 4

Slide 4 text

4 © 2025 Leverages Co., Ltd. Contents レバレジーズについて
 レバレジーズのAgent開発体制
 レバレジーズのLangfuse活用事例
 レバレジーズのチャレンジ
 まとめ
 01. 02. 03. 04. 05.

Slide 5

Slide 5 text

5 © 2025 Leverages Co., Ltd. レバレジーズについて

Slide 6

Slide 6 text

会社概要 所在地 本社:渋⾕スクランブルスクエア 24 ‧ 25階 設⽴ 2005年 従業員数 正規:3,343名(2025年4⽉時点)  資本⾦ 5,000万円 年商 1428億円(2024年度) 事業内容 ⾃社メディア事業‧⼈材関連事業‧システムエンジニアリング 事業‧M&Aコンサルティング事業‧ ASP/ SaaS/クラウド関連 事業

Slide 7

Slide 7 text

創⽴20周年を迎えました👏 ◉公式Youtubeサイト ◉特設サイト 【レバレジーズ20周年】岩槻代表と辿る20年の軌跡

Slide 8

Slide 8 text

事業紹介 (※既存事業より⼀部抜粋) 医療‧介護 若年層 就活‧転職 M&A 海外 SaaS IT

Slide 9

Slide 9 text

事業紹介 アイデアから新しい事業を⽣み出す。 型を拡⼤し、効率化していく。 型を作り、事業をグロースさせていく。 0→1 1→10 10→100

Slide 10

Slide 10 text

売上推移 創業から黒字経営 年間130%成⻑

Slide 11

Slide 11 text

11 © 2025 Leverages Co., Ltd. レバレジーズの Agent開発体制

Slide 12

Slide 12 text

12 © 2025 Leverages Co., Ltd. インフラ基盤 LangfuseはEKSにセルフホストされています。インフラの運用・監視はSREチームが担当し ているので、AgentチームはAgentの開発に専念しています。

Slide 13

Slide 13 text

13 © 2025 Leverages Co., Ltd. 体制図 エンジニアは機能(Tool)を改善し、ドメインエキスパートはプロンプトを改善していま す。Langfuseで責務を分解し、 高速な改善サイクルを回しています。 Langfuse ドメイン エキスパート Agent 開発者 trace プロンプト改善 デプロイ ・Tool開発 ・システム改善

Slide 14

Slide 14 text

14 © 2025 Leverages Co., Ltd. レバレジーズの Langfuse活用事例

Slide 15

Slide 15 text

15 © 2025 Leverages Co., Ltd. Langfuseを中心としたPDCAサイクル トレース プロンプト管理 プロンプトを変更する 何が起きてるかみる Good/Badを評価する 評価 Agentを 動かす Langfuse 4部署が使用していて、合計で12プロジェクトが導入している!

Slide 16

Slide 16 text

16 © 2025 Leverages Co., Ltd. トレース AgentやLLMの実行フローを可視化し、複雑な挙動も簡単に確認できます。 Agentの軌跡 タグを追加

Slide 17

Slide 17 text

17 © 2025 Leverages Co., Ltd. トレース(マルチモーダル) 画像のようなマルチモーダルでも、きちんとtraceされる。update_current_generation機 能を使用することで、きちんとコストも表示される。 4枚生成している

Slide 18

Slide 18 text

18 © 2025 Leverages Co., Ltd. プロンプト管理 AgentのシステムプロンプトはLangfuseで管理しています。ドメインエキスパートが直接 Agentのシステムプロンプトを変更しています。 Agent エンジニア ドメイン エキスパート Agent ドメイン エキスパート Before After

Slide 19

Slide 19 text

19 © 2025 Leverages Co., Ltd. プロンプト管理(ラベル戦略) dev環境はdevラベル、prd環境はproductionラベルで運用しています。ある一定の基準を満 たした場合のみproductionラベルをつけることで、品質を担保しています。 本番 Agent ドメイン エキスパート ラベル戦略なし 即反映 本番 Agent ドメイン エキスパート ラベル戦略あり ルール

Slide 20

Slide 20 text

20 © 2025 Leverages Co., Ltd. 評価の流れ(オフライン評価) 例:Agentが接続されているデータソースの情報を正しく返答するかをテスト Datasets 評価 Agent ドメイン エキスパート input output expected output 確認

Slide 21

Slide 21 text

21 © 2025 Leverages Co., Ltd. 評価の流れ(オフライン評価) 例:Agentが接続されているデータソースの情報を正しく返答するかをテスト Datasets 評価 Agent ドメイン エキスパート input output expected output 確認

Slide 22

Slide 22 text

22 © 2025 Leverages Co., Ltd. ダッシュボード 部署ごとにコストを確認するときに使用している。metadataでフィルタリングできるの で、組織情報をmetadataに追加するだけで対応可能。 Strands Agents

Slide 23

Slide 23 text

23 © 2025 Leverages Co., Ltd. レバレジーズの チャレンジ

Slide 24

Slide 24 text

24 © 2025 Leverages Co., Ltd. マルチターンの評価 マルチターンは文脈考慮が必要であり、シングルターンに比べ評価難度が高くなります。 Langfuseの全ターントレースを用いてマルチターン評価パイプラインを構築予定です。 こんにちは! 自己紹介をお願いします! 苑田です! 自己紹介をお願いします! さっき言ったが?? ・同じ質問をしていないか ・会話内容を忘れていないか ・ロールに沿った質問をしているか などなど

Slide 25

Slide 25 text

25 © 2025 Leverages Co., Ltd. まとめ

Slide 26

Slide 26 text

26 © 2025 Leverages Co., Ltd. まとめ 1. LangfuseにTraceを送ることで、Agentの挙動が確認できる。 2. Langfuseのプロンプト管理を使用することで、エンジニアの工数を削減。 3. LangfuseのDatasetを活用し、評価を簡単に実施。

Slide 27

Slide 27 text

27 © 2025 Leverages Co., Ltd. ご清聴ありがとう ございました!!