AIエンジニアリングのご紹介 / Introduction to AI Engineering

Slide 1

Slide 1 text

AIエンジニアリングのご紹介基盤モデルを用いたAIアプリケーション開発の基礎と実践 2025年12月3日 Asterminds株式会社 r.kagaya 翻訳者に聞く！『AIエンジニアリング ―基盤モデルを用いたAIアプリケーション開発の基礎と実践』

Slide 2

Slide 2 text

2022年に株式会社ログラスに入社経営管理SaaSの開発、開発生産性向上に取り組んだのち、生成AI/LLMチームを立ち上げ、新規AIプロダクトの立ち上げに従事その後、独立・現職 Asterminds（アスターマインズ）株式会社共同創業者・CTO r.kagaya(@ry0_kaga) 自己紹介

Slide 3

Slide 3 text

今日の目的下記を知って頂くこと ● AIエンジニアリングとは何か？ ● AIエンジニアリング（書籍）から何が得られるか？用語の定義や内容は、書籍内の記述に合わせています

Slide 4

Slide 4 text

AIエンジニアリングとは？  

Slide 5

Slide 5 text

AIエンジニアリングと聞いて、思い浮かべるものは？

Slide 6

Slide 6 text

プロンプトエンジニアリング？RAG？ AIエージェント開発？モデル訓練？ファインチューニング？

Slide 7

Slide 7 text

書籍、AIエンジニアリングの定義では

Slide 8

Slide 8 text

基盤モデルを用いてアプリケーションを構築すること AIエンジニアリング is

Slide 9

Slide 9 text

AIエンジニアリングとは何で、何から生まれた？ AI利用の民主化がもたらした新しいエンジニアリング分野 AIアプリケーション開発のハードルの低下による環境の変化が勃興の要因基盤モデルの登場汎用的にタスクを解ける基盤モデルの登場 In-Context Learningで、モデル自体の変更はなしに、モデルの振る舞いを変更することが可能 Model as a Service 一部の専門組織が開発した巨大なAIモデルを、APIを通じて誰もがサービスとして利用できるようになった「Model as a Service」

Slide 10

Slide 10 text

過去の記憶・思い出 AI（MLという方が適切か）をアプリケーションに組み込むことのハードルが今より高かった時代が確かにあった前々職で、不正検知・アクセスをブロックするMLモデルの開発・組み込みには、一年ががりで総額◯億円の投資になると言われた数値の妥当性はさておき、当時よりAIアプリ・AI機能の開発のハードルが下がったことは間違えない

Slide 11

Slide 11 text

AIエンジニアリングでは何が変わる？必ずしもモデル作成が起点でなくなったが故のサイクルや活動領域の変化プロダクトファーストモデル構築から適応へ評価の固有度の増加今はモデル開発自体は行わずとも、先にAIアプリケーショ開発が行えるモデルの適応（アプリケーション要件にモデルの振る舞いを調整する）の必要性の高まりアプリケーション固有・オープンエンドな出力を前提とする機会が増加。評価の独自度も高めることに

Slide 12

Slide 12 text

No content

Slide 13

Slide 13 text

モデルを「作る」から、「使いこなす」へ

Slide 14

Slide 14 text

モデルを「作る」から、使いこなすへ AIエンジニアリングの主戦場は、モデルの使いこなし（モデルの学習・訓練も残る）基盤モデルの登場により、「モデルを一から作る」から「既存の高性能モデルを適応・評価する」ニーズが増加

Slide 15

Slide 15 text

AIエンジニアリングはなにを行うのか？

Slide 16

Slide 16 text

「動くデモ」を作るのは簡単になった。しかし、「使い続けられるプロダクト」にするのは依然として難しい。

Slide 17

Slide 17 text

AIエンジニアリング ≠ プロンプトエンジニアリングプロンプトエンジニアリングは氷山の一角。考えることはたくさん

Slide 18

Slide 18 text

AIエンジニアリング ≠ プロンプトエンジニアリング特に中心になるのはモデル適応技術と評価モデル適応評価汎用的な基盤モデルを特定のアプリケーションに”適応”させる・コンテキストの制御 (Prompt/Context Engineering) ・知識と行動の拡張(RAG & Agents) ・モデルの専門化(Fine-tuning) 汎用的に賢いモデルを、いかに特定のアプリケーション要件に適合させるか「確率的で非決定的な振る舞い」を、許容できる品質、安全性、トーン、専門性の担保まで確認するプロセス

Slide 19

Slide 19 text

汎用モデルを適応させる AIエンジニアリングでは、3つの主要な適応技術で、汎用的な基盤モデルを特定のアプリケーションに特化させる最近で言うところの、コンテキストエンジニアリングもカバー範囲

Slide 20

Slide 20 text

全ての土台となる評価信頼できる評価軸があるからこその体系的な改善「この修正で本当にシステムは良くなったか？」に自信を持って答えるためには？ Vibe Check（雰囲気での確認）には限界があるなぜ難しいのか？オープンエンドな出力は正解が一つに収斂しないため AIエンジニアリングの世界においては、オープンエンドな出力の利用が増える。なぜ重要なのか？評価パイプライン・基準がなければ、開発は単なる「手探りの試行錯誤」に陥る可能性

Slide 21

Slide 21 text

Slide 22

Slide 22 text

評価の主体（誰が、または何が評価を行うか）の分類最近は、「AIに評価させる」ことがアプローチの一つとして浸透してきているどれか単独ではなく、評価主体と手法の組み合わせでは、どうやって評価するのか？

Slide 23

Slide 23 text

評価駆動開発（Eval Driven Development） AIアプリケーションを作る前に、評価基準とデータセットを用意する TDDを通して、システムの設計に向き合うように、EDDを通して、評価基準とデータセットに最初から向き合うことで、自アプリケーションでの要求もクリアになる

Slide 24

Slide 24 text

作って終わりではない、フライホイールを回す最も価値あるデータは、ユーザーの入力そのものユーザーからのフィードバックや利用データを、次の評価セットにどう還元し、アプリケーションを継続的に改善していくか？（複数chで論じている）

Slide 25

Slide 25 text

他にもたくさん..！

Slide 26

Slide 26 text

AIエンジニアリング（書籍）が   回答してくれること  

Slide 27

Slide 27 text

こんな経験・疑問ありませんか？

Slide 28

Slide 28 text

● RAG、エージェント、ファインチューニング、結局今の自社にはどれが最適？ ● 自社アプリケーション向けの評価ってどう始めたら良い？ ● TemperatureやTop-p、なんとなく0.7に設定していませんか？ ● ユーザーフィードバックをどう改善に繋げればいい？

Slide 29

Slide 29 text

AIエンジニアリング（書籍）のアピール基盤モデルを用いたアプリケーション開発の「教科書」を目指した一冊 ● 著者は、NVIDIAやSnorkel AIでの実務経験、スタンフォード大学で機械学習システムデザインを教える ● 前著『機械学習システムデザイン』はAI分野のベストセラーとなり、世界10言語以上に翻訳 ● AIエンジニアリングは25年の出版以来、オライリー学習プラットフォームで「最も読まれている本」

Slide 30

Slide 30 text

AIエンジニアリング（書籍）が回答する現場の悩みプロンプトでこねくり回すだけで、何とかなる？

Slide 31

Slide 31 text

AIエンジニアリング（書籍）が回答する現場の悩み RAGの性能を上げるためには？

Slide 32

Slide 32 text

AIエンジニアリング（書籍）が回答する現場の悩み Agentで完全自動化の未来が来た？

Slide 33

Slide 33 text

AIエンジニアリング（書籍）が回答する現場の悩み AIアプリケーションのシステムアーキテクチャはどう育てる？

Slide 34

Slide 34 text

AIエンジニアリング（書籍）の全体像 AIエンジニアリングという体系的なアプローチを広く概観基盤モデルの理解から、システムアーキテクチャまで抑えているのが最大の特徴

Slide 35

Slide 35 text

まとめ 

Slide 36

Slide 36 text

AIエンジニアリング書籍でも強調されている、AIエンジニアリングの3つの原則

Slide 37

Slide 37 text

まとめ ● AIアプリケーションの開発は、プロンプトを書いて終わりではなく、AIエンジニアリングという体系的なアプローチが必要 ● 原則は、評価ファースト、シンプルに始める、モデル適応に重点 ● RAG/Agentなどの確率的なシステムを機能させる鍵は、評価・Evaluationにある、「なんとなく良さそう」を卒業する ● 良いプロンプト・RAG/Agent・FTの前に良いデータ ● ツールは変わるが、原則は（比較的長く）残る