Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIシステムの品質と成功率を向上させるReflection
Search
西岡 賢一郎 (Kenichiro Nishioka)
November 30, 2024
Technology
0
54
AIシステムの品質と成功率を向上させるReflection
機械学習の社会実装勉強会第41回 (
https://machine-learning-workshop.connpass.com/event/336915/
) の発表資料です。
西岡 賢一郎 (Kenichiro Nishioka)
November 30, 2024
Tweet
Share
More Decks by 西岡 賢一郎 (Kenichiro Nishioka)
See All by 西岡 賢一郎 (Kenichiro Nishioka)
ローカルLLMでファインチューニング
knishioka
0
150
自作MCPサーバ入門
knishioka
0
11
成功と失敗の実像と生成AI時代の展望
knishioka
0
48
MCPが変えるAIとの協働
knishioka
1
180
LangFlowではじめるRAG・マルチエージェントシステム構築
knishioka
0
150
DeepSeekを使ったローカルLLM構築
knishioka
0
190
業務ツールをAIエージェントとつなぐ - Composio
knishioka
1
230
LangGraphを使ったHuman in the loop
knishioka
0
290
LangGraph Templatesによる効率的なワークフロー構築
knishioka
0
190
Other Decks in Technology
See All in Technology
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
330
Kotlin Coroutine Mechanisms: A Surprisingly Deep Rabbithole
amanda_hinchman
2
100
AIエージェント最前線! Amazon Bedrock、Amazon Q、そしてMCPを使いこなそう
minorun365
PRO
15
5.4k
【TiDB GAME DAY 2025】Shadowverse: Worlds Beyond にみる TiDB 活用術
cygames
0
1.1k
CI/CD/IaC 久々に0から環境を作ったらこうなりました
kaz29
1
190
“社内”だけで完結していた私が、AWS Community Builder になるまで
nagisa53
1
410
Prox Industries株式会社 会社紹介資料
proxindustries
0
330
本が全く読めなかった過去の自分へ
genshun9
0
590
25分で解説する「最小権限の原則」を実現するための AWS「ポリシー」大全 / 20250625-aws-summit-aws-policy
opelab
9
1.2k
How Community Opened Global Doors
hiroramos4
PRO
1
120
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
120
Snowflake Summit 2025全体振り返り / Snowflake Summit 2025 Overall Review
mtpooh
2
410
Featured
See All Featured
Typedesign – Prime Four
hannesfritz
42
2.7k
4 Signs Your Business is Dying
shpigford
184
22k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3k
Into the Great Unknown - MozCon
thekraken
39
1.9k
VelocityConf: Rendering Performance Case Studies
addyosmani
331
24k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
How to Ace a Technical Interview
jacobian
277
23k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
GitHub's CSS Performance
jonrohan
1031
460k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Rails Girls Zürich Keynote
gr2m
94
14k
Transcript
AIシステムの品質と成功率を向上させるReflection 機械学習の社会実装勉強会 第41回 (2024/11/30) 1
自己紹介 名前: 西岡 賢一郎 X: @ken_nishi LinkedIn: https://www.linkedin.com/in/kenichiro-nishioka/ Facebook: https://www.facebook.com/kenichiro.nishioka
note: https://note.com/kenichiro YouTube: https://www.youtube.com/@kenichiro-nishioka 経歴 東京大学で位置予測アルゴリズムを研究し博士 (学術) を取得 東京大学の博士課程在学中にデータサイエンスをもとにしたサービスを提供する株式会社トライディアを 設立 トライディアを別のIT会社に売却し、CTOとして3年半務め、2021年10月末にCTOを退職 株式会社データインフォームド (CEO)・株式会社ディースタッツ (CTO)・CDPのスタートアップ (Sr. CSM) 自社および他社のプロダクト開発チーム・データサイエンスチームの立ち上げ経験 2
本日の課題認識 1. 通常のAIの課題 単一の応答に依存 回答の修正に人間が介入 2. 解決の方向性 人間の学習プロセスからヒントを得る 振り返り(Reflection)の重要性 システマティックな改善プロセス
3
人間の学習プロセスに学ぶ 1. 行動のみする人の特徴 とにかく行動するが、振り返りをしないタイプ 結果:アウトプットは早いが品質が低い 2. 自己反省をして改善する人の特徴 行動後に結果を振り返り、次に活かすタイプ 結果:徐々に改善・成長を実現 AIにもこの能力を実装することが重要
4
なぜAIにReflectionが必要か? AIの自己評価による品質向上 AIが自信の生成した回答を評価し,それを元に修正 人間が介入せずに回答を修正することができる 回答に応じて評価を柔軟に修正可能 初期プロンプトにすべての条件を書く必要がない 生成された回答に応じて評価・修正が可能 5
Reflection Agentのアーキテクチャ 生成された回答をLLMに評価させ修正する 6
エッセイ改善の例 初期エッセイ(抜粋) 環境保護は私たちの未来にとって重要です。 地球温暖化は深刻な問題です。 私たちは行動を起こす必要があります。 Reflectionプロセス 1. 評価:具体性不足、データ欠如 2. 改善案:統計データ追加、具体例提示
改善後 環境保護は、人類の持続可能な未来に不可欠です。 IPCC の2023 年報告によると、過去10 年で世界の平均気温は1.1 ℃上昇し、生態系に深刻な影響を及ぼしています。 例えば、北極圏の氷床面積は年間約13% の割合で減少し... 7
デモ: ビジネスアイディア生成Agent Reflection Agentのやること テーマに沿ってビジネスアイティアを生成 投資家目線で批評・修正点の提示 投資家からのフィードバックを元にビジネスアイディアを修正 ソースコード https://github.com/knishioka/machine-learning- workshop/blob/main/langchain/reflection_agent.ipynb
8
Reflection Agentの実務活用例 1. カスタマーサポート Before: 一般的な応答 After: 過去の類似ケース参照による最適解提示 2. 技術文書作成
Before: 基本的な仕様書 After: エッジケースを考慮した包括的文書 3. コードレビュー Before: 表面的なチェック After: セキュリティ面も含めた多角的レビュー 9
今後の展望:Reflectionの進化 1. 現在のReflection(反省者型) 行動後の振り返りと改善 エラー検出と修正 品質向上の実現 2. 将来の発展(戦略的行動者型) 事前の仮説設定と計画立案 結果予測に基づく最適化
自律的な意思決定と改善 10
結論:ReflectionがもたらすAIの進化 1. 品質向上 エラー率の低減や一貫性の向上や文脈理解の深化が期待できる 2. 効率化 人間が介入する必要がなくなり,作業時間の短縮ができる 3. 発展の可能性 戦略を練る高度な自己改善能力などを設けることにより,より人間に近いシステ
ムとなる 11
お問い合わせ お仕事の依頼・機械学習・LLMの実装のご相談は、X, LinkedIn, Facebookなどで DMをください 機械学習を社会実装する仲間も募集中!! 12