Tweet
Tweet

Slide 1

Slide 1 text

AIエージェント時代の 可能性と実践 Suguru Namura Software Engineer @ LayerX 2025-03-04

Slide 2

Slide 2 text

自己紹介 ~ 2016 - 株式会社サイバーエージェント 各種サービスやメディアの開発・立ち上げ ~ 2022 - 株式会社メルカリ サービス開発、CTO、サービス立ち上げなど ~ 現在 - 株式会社 LayerX Enablement担当、最近は事業者向けの Agent 開発

Slide 3

Slide 3 text

今の役割と状況 Enabling Team - エンジニアや社内の Enablement を担当 - エンジニアの生産性向上、LLMを活用した社内支援など CEO室 - 事業上緊急性の高い事案を技術的解決と共ににアプローチしていく - AI Agent は注力技術

Slide 4

Slide 4 text

今日話すこと LayerXにおいて、AIエージェントに実践している中で 得られた知見や、考えていることを話します。

Slide 5

Slide 5 text

注意 一般的なソフトウエアエンジニアです 機械学習や LLM, AI Agent のエキスパートではありません 各種周辺技術を網羅的に使い倒しているわけではありません

Slide 6

Slide 6 text

AIエージェントとは ..?

Slide 7

Slide 7 text

AI エージェント とは..? AIエージェントとは、特定のタスクや目標を達成するために 自律的に行動し、意思決定を行うことができる AIシステムを指します。 By Claude 3.7 Sonnet

Slide 8

Slide 8 text

なぜ AI エージェント？

Slide 9

Slide 9 text

なぜ AI エージェント ..? LLMによって ソフトウエアが「考える力」を手にした ↓ ソフトウエアの能力が限界突破した

Slide 10

Slide 10 text

今までのソフトウエア プログラム 定義された 入力 定義された 出力

Slide 11

Slide 11 text

プログラムって何だっけ？ CPUが理解できる命令の集合体 プログラミング言語は、CPUへの命令（機械語）を人間が 理解しやすいように記述できる言語 順序性・論理性 が成立している必要がある

Slide 12

Slide 12 text

LLMを使ったソフトウエア LLM 予測不要な 入力 予測可能な 出力

Slide 13

Slide 13 text

予測不要な入力とは ... LLMはベクトルで理解するので 入力に順序性や論理性が必須ではない LLMが出力するベクトルの 元になる文書や画像があれば良い

Slide 14

Slide 14 text

LLMの概念を理解する Transformer Explainer https://poloclub.github.io/transformer-explainer/

Slide 15

Slide 15 text

文書や画像を雰囲気で認識する 人間みたい AI Agent

Slide 16

Slide 16 text

予測不要な入力に対応したことで ソフトウエアに対する考え方が 根本的に変わった

Slide 17

Slide 17 text

いままで これから 順序性・論理性を持った形に 必ず変換する必要があった （プログラミング） 順序性・論理性が 必須ではなくなった

Slide 18

Slide 18 text

データのあり方も変化した

Slide 19

Slide 19 text

いままで これから スキーマ定義を行い 構造化されたデータでなければ 処理が難しかった 確定的なスキーマがない 曖昧な状態でも 処理できるようになった

Slide 20

Slide 20 text

ソフトウエアは プログラミング から 指示 の時代へ

Slide 21

Slide 21 text

AIエージェントを取り巻く技術

Slide 22

Slide 22 text

プログラミング言語について LLM関連はデータや機械学習の扱いもあり、Pythonベースの技術とエコシス テムが多い ex. LangChain, LlamaIndex, … 一方で、AIエージェントはインタラクティブなUIも必要。Web上で展開する場合 は Typescript ベースで実装するほうがシンプルかつ協力なアプリケーション を構築できる

Slide 23

Slide 23 text

個人的には Web は Typescript が オススメ

Slide 24

Slide 24 text

エージェントフレームワークを参考に 必要な技術要素を見ていく

Slide 25

Slide 25 text

mastra.ai https://mastra.ai/

Slide 26

Slide 26 text

Model Routing Workflow Tool Memory RAG Evaluation

Slide 27

Slide 27 text

Model Routing 利用したいモデルがプロンプトごとに違ったとしても、統一的なインターフェイス で利用できるルーティング機能 Model Routing Workflow Tool Memory RAG Evaluation

Slide 28

Slide 28 text

Workflow Graph エージェントが各プロンプトなどを実行し、結果を得る 複雑なエージェントになると、複数のプロンプトや処理を組み上げていくので、 依存関係の管理が大変になる ワークフローエンジンがあると、そのあたりの実装がかなり楽になる Model Routing Workflow Tool Memory RAG Evaluation

Slide 29

Slide 29 text

Tool LLMが Tool Call に対応している場合、どのような対応ツールがあって、どの ような状況でそれを使うかを管理する必要がある Model Routing Workflow Tool Memory RAG Evaluation

Slide 30

Slide 30 text

Agent Memory エージェントが一連の処理をしていく中で保持する記憶領域 LLMはトークンの制限があるので、エージェント用のメモリが必要 過去のプロンプトとその結果を保持し、後々の処理で過去の会話から関連する 情報を引き出す Model Routing Workflow Tool Memory RAG Evaluation

Slide 31

Slide 31 text

RAG ベクトルデータの記憶領域 エージェントはベクトルを使った検索が最適なことが多いので、エージェントが 必要となるデータをトークン化(ベクトル)して格納しておく Chunking, Embedding して保存する Model Routing Workflow Tool Memory RAG Evaluation

Slide 32

Slide 32 text

Evaluation LLMの結果などの評価が必要になる 軽量なLLMを使って、実際に得られた結果にハルシネーションが起きていた り、事実と違う結果になっていないか、などの評価を実施し、メトリクスを記録す る Model Routing Workflow Tool Memory RAG Evaluation

Slide 33

Slide 33 text

エージェントのシステム上の役割 AIエージェント RAG Agent Memory Service A Service B Service C Agent Memory

Slide 34

Slide 34 text

エージェントのシステム上の役割 「指示」に対して、エージェントが適切なツール・データを選定し、考えて取得す る 指示を完遂するために - データの発見しやすさ - ツールの発見しやすさ、わかりやすさ が重要になってくる

Slide 35

Slide 35 text

エージェントの設置場所 デスクトップ アプリ ブラウザ拡張 サーバー

Slide 36

Slide 36 text

サーバー データへのアクセス可能 バックグラウンド処理 LLMへの指示を隠蔽できる デプロイが容易 利用者のOS・デバイスを問わない 認証情報や個人情報を取得・保 管しなければならない ネットワークの状態に依存する 設置したサイト上でしか利用でき ない Pros Cons

Slide 37

Slide 37 text

ブラウザ拡張 配布が簡単 ブラウザ・デバイスの 認証情報を使える あらゆるWebページに統合できる オフラインでも使える インストールが必要 ブラウザごとに対応が必要 セキュリティ上警戒される Pros Cons

Slide 38

Slide 38 text

デスクトップ ネイティブアプリ 端末の情報が使える オフラインでも使える 端末上のアプリと連携できる ローカルモデルを実行できる 認証情報を取得・保管しなければ ならない 更新手段が必要 OSごとの対応が必要 Pros Cons

Slide 39

Slide 39 text

Prompt Observability プロンプト バージョン 入出力ログ 利用モデル レイテンシ 評価結果 トレースとの統合

Slide 40

Slide 40 text

AIエージェントの弱点

Slide 41

Slide 41 text

AIエージェントの弱点 コスト 不確実性 考える時間 モデルの更新

Slide 42

Slide 42 text

エージェントのセキュリティ

Slide 43

Slide 43 text

プロンプトインジェクション エージェントは指示に従順に動く プロンプトインジェクションを使ったエージェントハック - エージェントの持つシークレットを吐き出させる - エージェントの持つ権限を利用して攻撃をさせる - エージェントへの指示を抽出し、業務情報を得る

Slide 44

Slide 44 text

プロンプトインジェクションに対して考えうる対策 - プロンプトに投入する前に、悪意のある要素がないかチェックする - AIエージェントが機密情報を引き出せる能力を制限する（期間や手段） - 応答するレスポンスに対して、機密情報の有無などのチェックを実施する チェック手法には、軽量モデルを使うこともできる

Slide 45

Slide 45 text

使った（使いたい）技術の紹介

Slide 46

Slide 46 text

AI SDK by Vercel https://sdk.vercel.ai/ 言わずと知れた LLM のためのSDK 各種モデルの処理を汎用化している Web Frontend とサーバー実装が両方ある ストリーム処理やリアルタイムUIなどに対応・バックエンド・フロントエンドの繋 がりがシームレス AIエージェントにおいて間違いなく必須技術 Next.js と組み合わせると最強

Slide 47

Slide 47 text

Meilisearch https://www.meilisearch.com/ Rust製の軽量高速検索エンジン 日本語などの多言語対応をしている 初期設定などがない High Availability に対応していない

Slide 48

Slide 48 text

LlamaIndex.TS https://ts.llamaindex.ai/ LlamaIndex のTS版 LangChain よりRAG周辺の機能にまとまってて使いやすい Python版と比べると使える機能は少ない

Slide 49

Slide 49 text

Langfuse https://langfuse.com LLM のトレースやプロンプト管理を行うプラットフォーム Evaluation結果を保持したりプロンプトの品質管理ができる (今後使っていきたい)

Slide 50

Slide 50 text

LayerXにおける AIエージェントの実例

Slide 51

Slide 51 text

Sales Portal

Slide 52

Slide 52 text

企業調査ツール

Slide 53

Slide 53 text

ガイドボット

Slide 54

Slide 54 text

スライド自動生成

Slide 55

Slide 55 text

商談支援 架電仮説の作成 失注要因まとめ フォローアップ メール作成 商談情報 自動入力

Slide 56

Slide 56 text

LLMの登場で変化した Enabling の考え方の変化 エンジニア以外の職種は、非構造情報が多いため、対応が難しい事が多かっ たが、LLMによって対応範囲がかなり広がった 全職種 Enabling 全盛期

Slide 57

Slide 57 text

AIエージェントのこれから

Slide 58

Slide 58 text

モデルの進化 間違いなくモデルは今後 の３つの方向でそれぞれ進化し、異常な速度で発展していく 速い 安い 頭良い

Slide 59

Slide 59 text

LLMの限界とマルチモーダル LLMはあくまでも言語モデルなので、言語の表現能力が限界になる マルチモーダルが進化してビジョンや音声などが発展してくると、人間の認識能 力を超えた能力を発揮するはず

Slide 60

Slide 60 text

ソフトウエアエンジニアのこれから

Slide 61

Slide 61 text

ソフトウエアエンジニアはどうなっていくのか 機械語がコンピュータを動かすところは変わらないが、人間がロジックを機械語 にするための言語を扱う必要性は減っていく いかに優秀な ベクトル を作れるかが、これからのニュータイプな ソフトウエアエンジニアになっていくはず。

Slide 62

Slide 62 text

AIエージェント開発に興味のある方 https://jobs.layerx.co.jp/1accdd370bae8011a26ad9748bf3803d LayerXではAIエージェント開発に興味がある方を絶賛採用中です！ 興味のある方・もっと深く知りたい方は、是非上記のURLから応募いただけると 幸いです

Slide 63

Slide 63 text

ありがとうございました