生成AIを作るエンジニアリングと使うエンジニアリング

Slide 1

Slide 1 text

Slide 2

Slide 2 text

⾃⼰紹介 shibui yusuke ● いろいろ → Stability AI → LayerX（いまここ） ● MLOpsコミュニティ運営 ● MLOps & データ & バックエンド & インフラ & その他諸々エンジニア ● 検索チームとR&Dチームを⽴ち上げ中 ● 最近やりたいこと⽣成AIの⽣成AI以外のエンジニアリング ● Github: @shibuiwilliam ● FB: yusuke.shibui cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知

Slide 3

Slide 3 text

機械学習を本番システムに組み込む方法をデザインパターンとして整理！機械学習を組み込んだ本番システムを実際にハンズオンで作る！【共著】大企業からスタートアップまで、 MLOpsの実践例を集約！乞うご期待！？？？

Slide 4

Slide 4 text

変わる技術は

Slide 5

Slide 5 text

毎年数回イノベーションが発⽣する世界 Machine learning Deep learning Generative AI Platform 2011 2012 2013 2023 2022 2021 2020 2014 2015 2016 2017 2019 2018 BigQuery dbt Kubeflow AlexNet DCGAN TensorFlow DQN AlphaGo AlphaZero XGBoost LightGBM ONNX PyTorch Anaconda GoogleNet ResNet Kaggle SageMaker Keras Core ML MediaPipe TensorRT Nvidia K80 Jupyter Notebook Google Colab Word2Vec Vertex AI MLflow Spark CLIP BERT GPT-3 OpenAI Hidden debt paper Diffusion model HuggingFace AutoML Optuna Katib ChatGPT Snowflake Airflow Cycle GAN Style GAN Magenta VAE CatBoost Jax/Flax TFServing TorchServe Stable Diffusion Nvidia A100 TPU Transformer イノベーションイノベーションイノベーションイノベーションイノベーションイノベーションイノベーションイノベーションイノベーションイノベーションイノベーション CodeX BQML 2024 Llama LoRA DeepSpeed GPT4 Gemini Nvidia H100 AnimateDiff イノベーション Copilot Amazon Bedrock 2025 langchain dify mastra Nvidia H200 vllm Flux Claude Cursor Devin ModernBERT DeepSeek イノベーションイノベーション

Slide 6

Slide 6 text

変わる⼈は

Slide 7

Slide 7 text

● ⽣成AIを作るエンジニアリング ● ⽣成AIを使うエンジニアリング ● 流れは作るもの

Slide 8

Slide 8 text

© LayerX Inc. 8 ⽣成AIを作るためのエンジニアリング計画データ学習評価開発する⽣成AIモデルとリリースターゲットを決め、採⽤するモデルアーキテクチャやデータ、学習レシピを計画学習済み⽣成AIモデルを⾃動または⼈間が評価⽣成AIモデルの品質、ハルシネーション、機能をフィードバック既存のデータを整理し、追加で必要なデータや変換処理を定義データ収集、変換、フィルタリング、保存管理⽣成AIモデルのアーキテクチャを開発し、GPUを確保して学習学習プロセスと結果を実験管理し、必要に応じてFine tune

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© LayerX Inc. 12 ⽣成AIを作るためのエンジニアリング計画データ学習評価収集、購⼊前処理分析フィルターシーン検知、シーン分割 Resolution / Aspect ratio / jittery Text detection / Scoring Embedding Captioning 動画⽣成AIの例 Ref. Meta Movie Gen https://ai.meta.com/research/movie-gen/

Slide 13

Slide 13 text

CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! シーン検知、シーン分割 CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! CAT MOVIE! Text detection Motion scoring & aesthetic scoring ms 0.2 as 0.2 ms 0.8 as 0.4 ms 0.6 as 0.5 Captioning A graceful cat walks elegantly, then ﬁnds a cozy spot, curls up, and peacefully drifts oﬀ to a deep sleep A black cat energetically jups and runs around the garden An orange cat playfully bats a ball around on a bed

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© LayerX Inc. 15 ⽣成AIを作るためのエンジニアリング計画データ学習評価収集、購⼊前処理分析フィルター動画⽣成AIの例 Storage DWH & Full text search Vector Store Multimodal data search platform データ本体 ID Storage path Metadata Caption… ID Video vector Text vector UI

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

時流は変わる

Slide 25

Slide 25 text

● ⽣成AIを作るエンジニアリング ● ⽣成AIを使うエンジニアリング ● 流れは作るもの

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

作るを変える

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

© LayerX Inc. 38 LLMを使うソフトウェアのエンジニアリングユーザリクエスト理解コンテキスト検索プロンプト管理分解、発展、計画時系列と意味の情報整理分解と評価あなたはLLMに詳しいソフトウェアエンジニアです。 Webアプリを⾃動コーディングする「Auto-web」の機能を改善します。これまでのコミットヒストリとレビューを考慮してリファクタリングしてください。 Few shot‧‧‧ 不確実性に対処する鉄則は、不確実な要素を局所化して制限すること。そして評価すること。

Slide 39

Slide 39 text

© LayerX Inc. 39 あなたはLLMに詳しいソフトウェアエンジニアです。 Webアプリを⾃動コーディングする「Auto-web」の機能を改善します。これまでのコミットヒストリとレビューを考慮してリファクタリングしてください。 Few shot‧‧‧ LLMを使うソフトウェアのエンジニアリングユーザリクエスト理解コンテキスト検索プロンプト管理分解、発展、計画時系列と意味の情報整理分解と評価 Auto-web Webアプリ⾃動コーディング機能改善リファクタリングコミット‧レビュー Speciﬁcation Understanding Underspeciﬁcation analysis Search Filter Plan and rewrite 不確実性に対処する鉄則は、不確実な要素を局所化して制限すること。そして評価すること。

Slide 40

Slide 40 text

© LayerX Inc. 40 LLMを使うソフトウェアのエンジニアリングユーザリクエスト理解プロンプト管理分解、発展、計画分解と評価 Auto-web Webアプリ⾃動コーディング機能改善リファクタリングコミット‧レビュー Search Filter Plan and rewrite commit history コンテキスト検索時系列と意味の情報整理コンテキスト時系列で変わるルールと状況コメントと⽭盾⾮⾃明な情報セマンティクスと属性 ‧‧‧ 不確実性に対処する鉄則は、不確実な要素を局所化して制限すること。そして評価すること。

Slide 41

Slide 41 text

© LayerX Inc. 41 class CodingPrompt role_prompt = “” order_prompt = “” reasoning_prompt = “” def context_builder(): … def few_shot_builder(): … あなたはLLMに詳しいソフトウェアエンジニアです。 Webアプリを⾃動コーディングする「Auto-web」の機能を改善します。これまでのコミットヒストリとレビューを考慮してリファクタリングしてください。 Few shot‧‧‧ LLMを使うソフトウェアのエンジニアリングユーザリクエスト理解コンテキスト検索分解、発展、計画時系列と意味の情報整理プロンプト管理分解と評価 E2E testcase A E2E testcase B E2E testcase C E2E testcase D Prompt変更と統計的テスト失敗率の分析 90％ 80％ 95％ 85％ 70％ 90％不確実性に対処する鉄則は、不確実な要素を局所化して制限すること。そして評価すること。

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

© LayerX Inc. 44 LLMを使うソフトウェアのエンジニアリング⾃然⾔語を排除 Reasoningの活⽤構造化、Tool call 推論の⾃⼰評価答えは「⼈⼯知能」です。なぜならAIは⼀般的にArtiﬁcial Intelligenceの省略で使⽤され、Artiﬁcial Intelligenceは⽇本語で⼈⼯知能と翻訳されるからです。 AIが⼈⼯知能の意味で使われる可能性は95%です。不確実性に対処する鉄則は、不確実な要素を局所化して制限すること。そして評価すること。 AIってなんですか？

Slide 45

Slide 45 text

© LayerX Inc. 45 LLMを使うソフトウェアのエンジニアリング⾃然⾔語を排除 Reasoningの活⽤構造化、Tool call 推論の⾃⼰評価答えは「⼈⼯知能」です。なぜならAIは⼀般的にArtificial Intelligenceの省略で使⽤され、Artificial Intelligenceは⽇本語で⼈⼯知能と翻訳されるからです。 AIが⼈⼯知能の意味で使われる可能性は95%です。 { “answer”: “⼈⼯知能”, “reasons”: { “reason_0”: “AIは⼀般的にArtificial Intelligenceの省略”, “reason_1”: “Artificial Intelligenceは⽇本語で⼈⼯知能”, }, “probability”: 0.95 } 不確実性に対処する鉄則は、不確実な要素を局所化して制限すること。そして評価すること。

Slide 46

Slide 46 text

© LayerX Inc. 46 LLMを使うソフトウェアのエンジニアリング⾃然⾔語を排除構造化、Tool call { “reasons”: { “reason_0”: “AIは⼀般的にArtificial Intelligenceの省略”, “reason_1”: “Artificial Intelligenceは⽇本語で⼈⼯知能”, }, “answer”: “⼈⼯知能”, “probability”: 0.95 } Reasoningの活⽤推論の⾃⼰評価 class Answer(pydantic.BaseModel): reasons: list[str] = Fields(“論理的理由”) answer: str = Fields(“回答”) probability: float = Fields(“確率”) 不確実性に対処する鉄則は、不確実な要素を局所化して制限すること。そして評価すること。

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

© LayerX Inc. 49 LLMを使うソフトウェアのエンジニアリング LLM as a Judge 固定値化 Observability Judgeの妥当性確率グラデーションから範囲監視と分析不確実性に対処する鉄則は、不確実な要素を局所化して制限すること。そして評価すること。 LLM時代のソフトウェアエンジニアリングのパラダイムを深く考察して提案してください。 LLM時代のソフトウェアエンジニアリングではAIを⽤いたコーディングと、AI を使ったソフトウェアが重要です。質問に対する回答の妥当性を評価し、その理由と評価点（0~100点）を説明してください。理由：LLMの発達によってソフトウェア開発の現場は変化します。評価点：100点 ←妥当性評価 LLM as a Judge 信頼性 95.6% プロンプトレスポンス LLM-as-a-Judge プロンプト LLM-as-a-Judge

Slide 50

Slide 50 text

© LayerX Inc. 50 LLMを使うソフトウェアのエンジニアリング LLM as a Judge 固定値化 Observability Judgeの妥当性確率グラデーションから範囲監視と分析不確実性に対処する鉄則は、不確実な要素を局所化して制限すること。そして評価すること。 LLM時代のソフトウェアエンジニアリングのパラダイムを深く考察して提案してください。 AIコーディング AIアプリケーションその他否定的肯定的否定的肯定的肯定的否定的 LLM-as-a-Judgeの⼈間との⼀致率レスポンス評価分析 99% 50% 70% 98% 60% 80% ⾃動化 Human-in-the-loop

Slide 51

Slide 51 text

© LayerX Inc. 51 LLMを使うソフトウェアのエンジニアリング LLM as a Judge 固定値化 Observability Judgeの妥当性確率グラデーションから範囲監視と分析不確実性に対処する鉄則は、不確実な要素を局所化して制限すること。そして評価すること。 LLM時代のソフトウェアエンジニアリングのパラダイムを深く考察して提案してください。 Rewrite Response Reﬂection Final answer User feedback Token Duration Complexity Log System log Prompt log System log Prompt log System log Prompt log System log Prompt log System log

Slide 52

Slide 52 text

作る変化を

Slide 53

Slide 53 text

● ⽣成AIを作るエンジニアリング ● ⽣成AIを使うエンジニアリング ● 流れは作るもの

Slide 54

Slide 54 text

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

流れに乗る 

Slide 58

Slide 58 text

流れを作る 

Slide 59

Slide 59 text

⽣成AIを作るエンジニアリングと使うエンジニアリングありがとうございました！