Agent Skillsを正しく活用する

AGENT SKILLSを正しく活用する「PDFを投げるだけ」では不十分な理由

きっかけ Xでの投稿「ANTHROPICのSKILLSガイドPDFをCLAUDE CODEに投げてオリジナルのSKILL-CREATORを作ると精度と品質が爆上がりする」試してみた結果… この情報は半分正しいが、重要な部分が抜けている

コンテキストとは AIエージェントが「一度に処理できる情報量の上限」コンテキストに含まれるもの • 会話履歴（これまでのやり取り） • システムプロンプト（基本指示） • 読み込んでいるファイルやドキュメント •
ツールの定義情報 • インストール済みのSKILLSの情報コンテキストが埋まると → 品質が下がる

AGENT SKILLSの仕組み：段階的開示第1段階（常時ロード） NAME と DESCRIPTION のみ → コンテキスト影響は最小限第2段階（SKILL起動時のみ）
SKILL.MD の本文 → 関連タスクが来たときだけ読み込み第3段階（必要に応じて） SCRIPTS / REFERENCES / ASSETS → 必要なものだけ参照 → コンテキスト節約と豊富な専門知識の両立を実現 1 2 3

SKILLの基本構造フォルダ構成 MY-SKILL/ ├ SKILL.MD ← 必須 ├ SCRIPTS/ 任意
├ REFERENCES/ 任意 └ ASSETS/ 任意 SKILL.MDの構成 --- NAME: MY-SKILL-NAME DESCRIPTION: ... --- # MY SKILL CLAUDEへの指示を記述 ※ DESCRIPTIONが起動判断の鍵

PDFだけでは不十分な理由 PDFがカバーしていない4つの領域 ❶ EVALパイプライン（品質評価の仕組み） PDFは「手動でクエリを試す」程度の記述のみ ❷ サブエージェントによる自動評価 GRADER / COMPARATOR
/ ANALYZER の3エージェント連携 ❸ DESCRIPTIONの「UNDERTRIGGER問題」 CLAUDEはSKILLを使うべき時に使わない傾向がある ❹ DESCRIPTION最適化フロー SHOULD-TRIGGER / SHOULD-NOT-TRIGGER の体系的テスト

公式SKILL-CREATORの強み充実したテスト・評価サイクルテストケース設計 ↓ 並列実行（WITH_SKILL / WITHOUT_SKILL） ↓ GRADER評価 →
BENCHMARK集計 → HTMLビューアで確認 ↓ ユーザーフィードバック → SKILL改善 → 繰り返し「動くか確認」ではなく「定量的に比較」できる

公式SKILL-CREATORの構成フォルダ構成 SKILL-CREATOR/ ├ SKILL.MD ├ AGENTS/ ← NEW │
├ GRADER.MD │ ├ COMPARATOR.MD │ └ ANALYZER.MD ├ EVAL-VIEWER/ ← NEW ├ REFERENCES/ ├ SCRIPTS/ └ ASSETS/ 注目ポイント • AGENTS/ 品質評価の3サブエージェント定義 • EVAL-VIEWER/ 評価結果の可視化ツール • SCRIPTS/ RUN_EVAL.PY IMPROVE_DESCRIPTION.PY AGGREGATE_BENCHMARK.PY PACKAGE_SKILL.PY 「作って終わり」→「測定して改善する」哲学

PDF VS 公式SKILL-CREATOR 観点 PDFのみ公式skill-creator Skillの概念理解十分フォルダ構成・命名規則十分
MCP連携パターン詳しい記載なし undertrigger対策 evalパイプライン概念のみ本格的 with/without比較環境別の挙動の違い

まとめ PDF = 「SKILLを理解するための本」公式SKILL-CREATOR = 「作り、測定し、改善するためのツール」両方を組み合わせるのが最も効果的おすすめ：PDFで概念を学ぶ →
公式SKILL-CREATORで実装する参考：GITHUB.COM/ANTHROPICS/SKILLS

Agent Skillsを正しく活用する

Agent Skillsを正しく活用する

daichi

More Decks by daichi

Featured

Transcript