Share
Embed
Transcript
13 slides
-
⾃⼰紹介 菅本 隆⽂ (すがもと たかふみ) Findy AI+ 新規事業開発 @sugamoto_ta 好きなツール
Claude Code / Notion AI © Findy Inc. 2 -
本⽇お話する内容 01 なぜ「Skills」なのか 02 モデルチューニングの進め⽅ 03 量‧質‧コストで測る 04 変更 →
評価 → 改善のループ 本イベントテーマとハーネス整備‧モデルチューニングとSkillsの関係を紹介します 洗い出し‧ピックアップ‧チーム設定の3ステップを紹介します Skillsの状態を3軸でモニタリングする考え⽅を紹介します Skillsを変えたら、何を根拠に良くなったと⾔えるかを紹介します © Findy Inc. 3 -
参考:ロードマップ ③AIで価値を⽣み出す ②AIエージェントでモノを作る ①AIエージェントでコード⽣成 AIがサポート出来る AIエージェント コード変更 要件定義 タスク分解 Issue作成
Pull request 作成 AIで代替できる セルフ レビュー AIで代替しづらい マージ レビュー QA リリース © Findy Inc. 6 -
モデルのチューニングをどう進めるか 3つのステップで対象を絞り込む 洗い出し ⾒直し候補のピックアップ チームで会話‧設定 洗い出し 既存のSkills‧サブエージェントなどで、モデル設定が⼊っていないものを洗い出す。 ピックアップ すでにモデルが設定されているが、作業内容的に⾒直した⽅が良さそうなものをピッ クアップする。
チームで会話‧設定 ピックアップした対象について、チームで話し合いモデルを設定する。 © Findy Inc. 6 -
モデルチューニングの効果(定量事例) モデルを1段階落とすと、単価はどれだけ下がるか モデル遷移 Input $/1M Output $/1M ⽬安の削減率 Fable 5
→ Opus 5 $10 → $5 $50 → $25 ▲ 約50% Opus 5 → Sonnet 5 $5 → $3 (intro $2) $25 → $15 (intro $10) ▲ 約40〜60% Sonnet 5 → Haiku 4.5 $3 → $1 $15 → $5 ▲ 約67% 単価が下がっても、⽣成トークン数‧アウトプット品質も⼀緒に⾒る 出典:Anthropic公式Pricing(2026年6⽉時点のキャッシュ値。Sonnet 5のintro価格は2026年8⽉31⽇まで適⽤)。新しいトークナイザーでは、同じ 内容でも⽣成トークン数⾃体が最⼤約1.35倍(実質約30%)増えるケースがあり、総コストは単価⽐ほど単純には下がらない点に注意。 © Findy Inc. 7 -
参考:コスト削減効果発信事例 数値の性質に注意しながら紹介 finout.io(FinOpsブログ、2026年7⽉) Opus 4.8 → Sonnet 5への移⾏で、⽉$1,125 → $675(▲40%、intro価格なら▲60%)という試算例を紹介。
Anthropic公式(Advisor戦略の⾃社検証) Opusが助⾔役、Sonnet/Haikuが実⾏役を担うAdvisor構成で、コスト▲11%‧ベンチマークスコア+2%という結果 を報告。 ※Anthropic⾃⾝によるベンチマーク結果 © Findy Inc. 8 -
モニタリングの3観点 Skillsの状態をこの3軸で継続的に⾒る 量 質 コスト 実⾏回数‧利⽤率 レビューコメント数‧マージ率 Skills/サブエージェント単価 PR数 ⼿戻り数‧変更障害率
トークン単価‧PR単価 どれだけ使われているか、 アウトプット増に寄与できているか ちゃんと役に⽴っているか コストは⾒合っているか この3軸でSkillsの状態を継続的にモニタリングする © Findy Inc. 10 -
まとめ Skillsのモデルチューニングが新たなトレンドに。 モデルチューニングは、洗い出し→ピックアップ→チーム設定で進める。 変更 → 振り返り → 改善のループを「共通Skills」単位で回す。 物差しと合格ラインがあれば、メンバー⾃⾝がループを評価‧改善できる状態にな る。
まずは1つのSkillsから、量‧質‧コストを測ってみる。 © Findy Inc. 12