Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIシステムの品質と成功率を向上させるReflection
Search
西岡 賢一郎 (Kenichiro Nishioka)
November 30, 2024
Technology
0
61
AIシステムの品質と成功率を向上させるReflection
機械学習の社会実装勉強会第41回 (
https://machine-learning-workshop.connpass.com/event/336915/
) の発表資料です。
西岡 賢一郎 (Kenichiro Nishioka)
November 30, 2024
Tweet
Share
More Decks by 西岡 賢一郎 (Kenichiro Nishioka)
See All by 西岡 賢一郎 (Kenichiro Nishioka)
MLflow × LLM 生成AI時代の実験管理とリスク低減
knishioka
0
47
Conductor: Git Worktreeで実現する並列AIコーディング
knishioka
0
75
ローカルLLMでファインチューニング
knishioka
0
600
自作MCPサーバ入門
knishioka
0
32
成功と失敗の実像と生成AI時代の展望
knishioka
0
62
MCPが変えるAIとの協働
knishioka
1
210
LangFlowではじめるRAG・マルチエージェントシステム構築
knishioka
0
230
DeepSeekを使ったローカルLLM構築
knishioka
0
230
業務ツールをAIエージェントとつなぐ - Composio
knishioka
1
260
Other Decks in Technology
See All in Technology
コスト削減の基本の「キ」~ コスト消費3大リソースへの対策 ~
smt7174
2
320
「魔法少女まどか☆マギカ Magia Exedra」の必殺技演出を徹底解剖! -キャラクターの魅力を最大限にファンに届けるためのこだわり-
gree_tech
PRO
0
430
実践データベース設計 ①データベース設計概論
recruitengineers
PRO
4
2k
攻撃と防御で実践するプロダクトセキュリティ演習~導入パート~
recruitengineers
PRO
3
1.8k
Vault meets Kubernetes
mochizuki875
0
150
ライブサービスゲームQAのパフォーマンス検証による品質改善の取り組み
gree_tech
PRO
0
430
異業種出身エンジニアが気づいた、転向して十数年経っても変わらない自分の武器とは
macnekoayu
0
260
おやつは300円まで!の最適化を模索してみた
techtekt
PRO
0
250
新規案件の立ち上げ専門チームから見たAI駆動開発の始め方
shuyakinjo
0
640
AWS環境のリソース調査を Claude Code で効率化 / aws investigate with cc devio2025
masahirokawahara
2
1k
事業価値と Engineering
recruitengineers
PRO
8
5.4k
7月のガバクラ利用料が高かったので調べてみた
techniczna
3
810
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
185
54k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Unsuck your backbone
ammeep
671
58k
The Art of Programming - Codeland 2020
erikaheidi
55
13k
We Have a Design System, Now What?
morganepeng
53
7.8k
The Cult of Friendly URLs
andyhume
79
6.6k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
570
Site-Speed That Sticks
csswizardry
10
800
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Transcript
AIシステムの品質と成功率を向上させるReflection 機械学習の社会実装勉強会 第41回 (2024/11/30) 1
自己紹介 名前: 西岡 賢一郎 X: @ken_nishi LinkedIn: https://www.linkedin.com/in/kenichiro-nishioka/ Facebook: https://www.facebook.com/kenichiro.nishioka
note: https://note.com/kenichiro YouTube: https://www.youtube.com/@kenichiro-nishioka 経歴 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社トライディアを 設立 トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職 株式会社データインフォームド (CEO)・株式会社ディースタッツ (CTO)・CDPのスタートアップ (Sr. CSM) 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験 2
本日の課題認識 1. 通常のAIの課題 単一の応答に依存 回答の修正に人間が介入 2. 解決の方向性 人間の学習プロセスからヒントを得る 振り返り(Reflection)の重要性 システマティックな改善プロセス
3
人間の学習プロセスに学ぶ 1. 行動のみする人の特徴 とにかく行動するが、振り返りをしないタイプ 結果:アウトプットは早いが品質が低い 2. 自己反省をして改善する人の特徴 行動後に結果を振り返り、次に活かすタイプ 結果:徐々に改善・成長を実現 AIにもこの能力を実装することが重要
4
なぜAIにReflectionが必要か? AIの自己評価による品質向上 AIが自信の生成した回答を評価し,それを元に修正 人間が介入せずに回答を修正することができる 回答に応じて評価を柔軟に修正可能 初期プロンプトにすべての条件を書く必要がない 生成された回答に応じて評価・修正が可能 5
Reflection Agentのアーキテクチャ 生成された回答をLLMに評価させ修正する 6
エッセイ改善の例 初期エッセイ(抜粋) 環境保護は私たちの未来にとって重要です。 地球温暖化は深刻な問題です。 私たちは行動を起こす必要があります。 Reflectionプロセス 1. 評価:具体性不足、データ欠如 2. 改善案:統計データ追加、具体例提示
改善後 環境保護は、人類の持続可能な未来に不可欠です。 IPCC の2023 年報告によると、過去10 年で世界の平均気温は1.1 ℃上昇し、生態系に深刻な影響を及ぼしています。 例えば、北極圏の氷床面積は年間約13% の割合で減少し... 7
デモ: ビジネスアイディア生成Agent Reflection Agentのやること テーマに沿ってビジネスアイティアを生成 投資家目線で批評・修正点の提示 投資家からのフィードバックを元にビジネスアイディアを修正 ソースコード https://github.com/knishioka/machine-learning- workshop/blob/main/langchain/reflection_agent.ipynb
8
Reflection Agentの実務活用例 1. カスタマーサポート Before: 一般的な応答 After: 過去の類似ケース参照による最適解提示 2. 技術文書作成
Before: 基本的な仕様書 After: エッジケースを考慮した包括的文書 3. コードレビュー Before: 表面的なチェック After: セキュリティ面も含めた多角的レビュー 9
今後の展望:Reflectionの進化 1. 現在のReflection(反省者型) 行動後の振り返りと改善 エラー検出と修正 品質向上の実現 2. 将来の発展(戦略的行動者型) 事前の仮説設定と計画立案 結果予測に基づく最適化
自律的な意思決定と改善 10
結論:ReflectionがもたらすAIの進化 1. 品質向上 エラー率の低減や一貫性の向上や文脈理解の深化が期待できる 2. 効率化 人間が介入する必要がなくなり,作業時間の短縮ができる 3. 発展の可能性 戦略を練る高度な自己改善能力などを設けることにより,より人間に近いシステ
ムとなる 11
お問い合わせ お仕事の依頼・機械学習・LLMの実装のご相談は、X, LinkedIn, Facebookなどで DMをください 機械学習を社会実装する仲間も募集中!! 12