フィードバック駆動での AI の育て方

Transcript

1. Machine Learning 15minutes! ~ 組織を AI との協働に最適化する ~ 株式会社和談 代表取締役社長 株式会社キカガク 創業者 / 顧問 吉崎 亮介 フィードバック駆動での AI の育て方
2. @2024-2025, Wadan inc. copyright All Rights Reserved 2 吉崎 亮介 よしざき りょうすけ エンジニア 起業家 その他 2007~2014 2014~2016 舞鶴高専 京都大学大学院 2017~2023 2024~ 株式会社キカガク 代表取締役 株式会社和談 代表取締役社長 2022~2024 2024~ 株式会社エイチーム 社外取締役 株式会社RY Capital 代表取締役 2024~ 文部科学省アントレプレナーシップ推進大使 自己紹介・経歴 Profile 創業者 1人→80人 和やかなコミュニケーションを作りたい 東証プライム上場企業役員 ベンチャー投資家 日本を代表する 55人が任命
3. 3 フィードバック駆動での AI の育て方 自分の知らないユーザーにも届くための AI LLM は本番環境に提供するプロダクト向けでよく語られがち 自分の仕事を吸収して育っていく自分や組織のための AI 私はこっちが欲しい @2024-2025 Wadan, inc. copyright All Rights Reserved AI に日々フィードバックを出しているけど、本当に育っている感じする？ 本番環境向けとは要件が大きく異なり、多少粗があっても良い分だけ進化を続けて欲しい
4. 4 @2024-2025 Wadan, inc. copyright All Rights Reserved フィードバック駆動での AI の育て方 個別最適を改善するためには少なくとも自分の上の階層に関しての理解が必要 End-to-End (E2E) での組織の最適化に期待したい 経営 人事 開発 採用 育成 カリキュラム作成 → 実施 → ... 市場調査 → プロトタイプ → ... 行動レベルで規定できれば End-to-End の最適化が可能な世界が見えてきている 募集 → 面接 → ... 新規事業 既存事業 機能改善 → 指標計測 → ... この図の階層は便宜上のイメージであり 実際には戦略から全部署や各業務プロセスまで 深く繋いでいく 行動 数値 結果の 一部 リソースの最適化 （ケースバイケースの正体） ただ...全体最適の達成には今の地道なプロンプト調整では無理では...??
5. A B C D E F @2024-2025 Wadan, inc. copyright All Rights Reserved 5 “A Survey of Context Engineering for Large Language Models” で定義された６つの構成要素 フィードバック駆動での AI の育て方 Prompt Engineering から Context Engineering への移行 Instructions Knowledge Tools Memory State Query システム関連 ユーザー関連 Context Engineering システム指示とルール RAG などで統合される外部知識 利用可能な外部ツール（ex. MCP） 事前のやりとりからの持続的な情報 ユーザーなどの動的な状態 ユーザーからのリクエスト * https://arxiv.org/abs/2507.13334 Prompt Engineering との違いは “Art → Science”
6. 6 フィードバック駆動での AI の育て方 マルチモーダルな構成要素を最適化することは非常に難易度が高い LLM は本番環境に提供するプロダクト向けでよく語られがち 日頃の仕事の延長線上で Context Engineering が成立するように設計すべきでは？ これが重要 @2024-2025 Wadan, inc. copyright All Rights Reserved 人間はチャットで膨大な数のフィードバックを出しており『フィードバック駆動』なら仕事と自然に調和
7. @2024-2025 Wadan, inc. copyright All Rights Reserved 7 振り返りを行って Context が良くなるようを改善 行動や判断の Context （主に Ins tr ucti on） 日々の振り返りが AI のコンテキストを育てる 多くの人が年間数百チャットしても、そこで利用される Context は常に使い捨てで消費されている。 最も深刻な問題は「この問題を問題と認識できていないこと」である。 今日からできるコンテキストの育て方 フィードバック駆動での AI の育て方 行動 成果物 * 筆者は GitHub で Instructions, Memory などを管理して、タスクを終えるごとに AI と振り返りで更新 ほとんどの人は ここを軽視して 毎日同じ AI と会話
8. STEP 01 STEP 02 STEP 03 STEP 04 8 未だに「犬と猫を言語化する」という機械学習の頃にとっくに終わった問題をここでも繰り返す フィードバック駆動での AI の育て方 今日からできるコンテキストの育て方 基盤モデル コンテキスト 成果物 ユーザー フィードバック ChatGPT や Claude, Gemini などが代表的 ここを構築したり、チューニングする難易度は非常に高い チャット形式の UI が登場したことにより一気に民主化 一方で未だにコンテキストは科学的に最適化がされていない 成果物をコンテキストというプロセスを通して得られた 予測値 y として認識できている人が少ない End-to-End で考えるならここが教師データ t となり学習源 一方でここのデータを溜めたり、振り返れるようにされていない @2024-2025 Wadan, inc. copyright All Rights Reserved
9. STEP 01 STEP 02 STEP 03 STEP 04 9 未だに「犬と猫を言語化する」という機械学習の頃にとっくに終わった問題をここでも繰り返す フィードバック駆動での AI の育て方 今日からできるコンテキストの育て方 基盤モデル コンテキスト 成果物 ユーザー フィードバック ChatGPT や Claude, Gemini などが代表的 ここを構築したり、チューニングする難易度は非常に高い チャット形式の UI が登場したことにより一気に民主化 一方で未だにコンテキストは科学的に最適化がされていない 成果物をコンテキストというプロセスを通して得られた 予測値 y として認識できている人が少ない End-to-End で考えるならここが教師データ t となり学習源 一方でここのデータを溜めたり、振り返れるようにされていない |t- y| をコンテキストの再学習に利用すべき フィードバック駆動で AI を育てるプロセスは人間の仕事と相性が良い 「プロセス = メタプロダクト」（ex. 産業機械） backward forward @2024-2025 Wadan, inc. copyright All Rights Reserved
10. 1 2 3 @2024-2025 Wadan, inc. copyright All Rights Reserved 10 GitHub × Claude Code Actions で、特別な使い方は必要ないが仕組みで AI が育っている 今日からできるコンテキストの育て方 ChatGPT や Claude のサービスと同じように 問題に対して会話してログも残る（超重要） 問題を提案するだけで良い GitHub の Issue or PR で会話 GitHub は過去のやり取りの参照も簡単で 多岐にわたる問題を特定して即時に理解可能 実装だけでなくプロンプトも更新 GitHub 上に実装とコンテキスト関連を置き 両方とも更新できて AI が継続的に進化する 1 2 3 フィードバック駆動での AI の育て方 音声入力 OK
11. 11 フィードバック駆動での AI の育て方 ユーザーからのフィードバックを貯める 今日からできるコンテキストの育て方 GitHub Actions の Cron などで定期的に振り返り、プロアクティブに AI が進化 （フィードバックにも粒度があるので、メタ解析して分類するなど細かいテクニックもある） 仕事に調和させる @2024-2025 Wadan, inc. copyright All Rights Reserved 最初は簡易なマークダウンでの管理から始めて、慣れてきたら TextGrad* のように最適化も導入していく * https://github.com/zou-group/textgrad まずここから
12. @2024-2025 Wadan, inc. copyright All Rights Reserved 12 人間から問いかけ トリガーをどのタイミングで使うかだけ 性能は同じ リアクティブ（受動） 多くの人が AI を使えないという正体は使えないのではなく「問い」が立てられていない フィードバック駆動での AI の育て方 AI Agent よりもプロアクティブな AI がトレンドになると予想 AI から問いかけ プロアクティブ（能動） 人事でコスト的に 難しかった社員の 状態把握もより鮮明に
13. @2024-2025 Wadan, inc. copyright All Rights Reserved 13 継続的インテグレーション (CI) がこの育成の鍵を握る エンジニアの文化にはすでに根付いている 新しい提案のレビューまでに自動でテスト 部署や時間を超えた背景まで 含んだ最適化や検証は 全ての人間には到底不可能 プロアクティブな AI はリアクティブな AI と 性能は変わらない。 「どう使うか」で成果が大きく変わる。 コスト的に AI を「大量消費」できるならば AI に新しい提案を都度検証させることは 現実味を帯びてきている。 質の高いフィードバックを即時に 行えることは最高の教育である ユーザーは AI を使っている 意識をしなくて良い
14. 1 2 3 @2024-2025 Wadan, inc. copyright All Rights Reserved 14 エンジニアでは当たり前の GitHub × Claude Code Actions を使えばすでに仕組みは完成している 継続的インテグレーション (CI) が組織のガードレールになる 領域問わず資料の更新は１日に何度もあり、 この更新でプロアクティブにAIが動く 状況ごとにカスタマイズ可能 ドキュメントの更新がトリガー 判断基準は自然言語で記述可能であるため 役職や役割を問わず利用可能 即座に高品質なフィードバック AI がプロンプトで定めた振る舞いでレビュー するため、人は本質に集中できる 1 2 3 フィードバック駆動での AI の育て方
15. 15 フィードバック駆動での AI の育て方 ルールの難しさは何か？ 継続的インテグレーション (CI) が組織のガードレールになる 決めることでなく、形骸化せずに運用し続けること これも組織のプロダクト化で CI/CD すれば人間はルール作りにのみ専念できる @2024-2025 Wadan, inc. copyright All Rights Reserved
16. 16 人間を最初から変えようとせず、組織の環境を AI と変えれば人間も自然と変わる フィードバック駆動での AI の育て方 システム思考に基づく組織の変え方 01 04 02 03 組織のルール策定・更新 組織や部署などルールを策定する 最初は個別で試しながら、慣れたら End-to-End の組織全体で繋ぐ フィードバック レビュワーが追加で指摘した事項を 整理して定期的に自動で学習させ 人間のオペレーション内で完結する CI でルールを自動適用 プロアクティブな AI で資料更新 をイベントのトリガーとして 整合性などの確認を自動化する 実務で使ってみる AI によって人間に高品質かつ高速 フィードバックで人が自然に育ち レビュワーも本質に集中できる AI との 協働の流れ @2024-2025 Wadan, inc. copyright All Rights Reserved
17. 1 2 3 @2024-2025 Wadan, inc. copyright All Rights Reserved 17 掃除機を前提に作られた空間ではルンバがどれだけ高性能でも通ることができない。 まとめ：ルンバブルで考えよう 個別最適した結果、整合性が取れない 時間経過とともにどんどん変えにくくなる 障害（中）：高性能が必要な構造 障害（大）：通れない構造 性能が向上すればある程度クリアできる ただし、その高性能なものを買うのは高い 障害（小）：たまに失敗する構造 普段は現れないエッジケースによって ほぼ全自動で問題ないが不定期に止まる 1 2 3 フィードバック駆動での AI の育て方
18. 18 組織を AI との協働に最適化する GitHub の導入や CI/CD の設定を非エンジニアへ普及することは難しい よくある質問 技術をビジネスに寄せるよりも『ビジネスを技術に寄せる』方が合理的 この機に、リスキリングしてみてはいかが？ 個人的なスタンス @2024-2025 Wadan, inc. copyright All Rights Reserved ただし、ツールは時代とともに変わるのでツールの使い方でなく考え方が大事 そして、本質は学ばない人に合わせる組織から、学び続ける人と AI に合わせた組織への変革
19. 19 組織を AI との協働に最適化する Instructions などをブラックボックスで最適化して品質は大丈夫？ よくある質問 全ての内容を人間が把握している場合よりは扱いが確かに難しくなる問題は正直ある 一方で「内容の把握 = 品質保証」でもなく、プロセス全体で品質保証を段階的に行う @2024-2025 Wadan, inc. copyright All Rights Reserved 現段階で、Instructions などの破壊的な変更が結構怖く、テスト駆動開発を参考に Context の構成要素も確率的な振る舞いのシステムと捉えて自然言語の受け入れ条件が 必要な印象で絶賛試行錯誤中のため、良い方法があれば教えてください！
20. 20 組織を AI との協働に最適化する Markdown ベースに対して最適化する難しさは？ よくある質問 構造の自由度の高さが良さでもあり、最適化時の難しさに繋がっている。 @2024-2025 Wadan, inc. copyright All Rights Reserved ニューラルネットワークにおける層やノードなどの構造に対するハイパーパラメータと それらの値であるパラメータの最適化を同時に行っている印象であり、これが破壊的な変更に繋がっている。 TypeScript の interface などで構造は細かく設定した上で、その内容だけ最適化させる方針が多い印象。 一方で、構造が明確に定義できるタスクに限定され、ブラックボックスでの最適化の良さを失うデメリットも。