Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
AIコーディング道場成果発表【予告】
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Shingo Yoshida 吉田真吾
June 07, 2025
Technology
94
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
AIコーディング道場成果発表【予告】
Shingo Yoshida 吉田真吾
June 07, 2025
Transcript
17 slides
吉⽥真吾 +"846(ԣࢧ෦ 4FSWFSMFTT$PNNVOJUZ +1 -BOH$IBJO $PNNVOJUZ +1 FUDʜ コミュニティ 2011〜
DMPVEQBDL ג ηΫγϣϯφΠϯ ג αΠμε ג δΣωϥςΟϒΤʔδΣϯπ p"844FSWFSMFTT)FSP p-BOH$IBJO ެࣜ &YQFSU"NCBTTBEPS コミュニティ型転職・独⽴
None
ίʔυิ *%&౷߹νϟοτܕ "*ιϑτΣΞΤϯδχΞ ฒྻඇಉظશͳҕ (FNJOJ$PEF"TTJTU +VMFT 74$PEF $MJOF3PP$PEF $VSTPS 8JOETVSG
%FWJO (JU)VC$PQJMPU (JU)VC$PQJMPU "HFOU.PEF $PEFY $MBVEF$PEF $-* $-*νϟοτܕ +FU#SBJOT*%&
ʲ࣮ʳ"*ίʔσΟϯάͰθϩ͔Β ༻αʔϏεΛϦϦʔεͯ͠Ք͙ه )&30;CZ4FDUJPO#:/".&CZ(FOFSBUJWF"HFOUTڞ࠵ ٢ాਅޗ 4FDUJPO (FOFSBUJWF"HFOUT "*ίʔσΟϯάಓ ެ։ษڧձ δϣϯυώϣϯʢṄಓᭈʣ
3PCPDP γχΞίϯαϧλϯτ ୈظ Ռൃදձ 5IV
None
Task Master https://github.com/eyaltoledano/claude-task-master PRDをタスクに分解して管理できるMCP経由で利⽤するサービス(ローカル起動可能)
None
None
Claude Code + Github Actions
Claude Code / CLAUDE.md によるリポジトリの仕様書の明記
ͳʹΛֶͿ͖͔ • ιϑτΣΞΤϯδχΞϦϯάͷ֤ఔʹ"*ΛͲ͏׆༻͢Δ͔ • ͡Ίখ͍͞نͷͷ13%͔Β"*Ͱ։ൃ͍ͯ͘͠αΠΫ ϧΛճ͠ɺঃʑʹେ͖ͳنʹ͍ͯ͘͜͠ͱ • ཁٻ։ൃɺλεΫܭըɺ֤λεΫͷ࣮ߦ͕جຊΞϓϩʔνͰ͋ ΓɺαϒλεΫϨϕϧͰ࣮ߦˠϨϏϡʔˠద༻ˠ࣍ •
$MBVEF$PEF$MBVEFͷຽେҠಈɿ͜ΕΛ͖͔͚ͬʹ • ΈΜͳͰू·ͬͯͭͶʹΑΓྑ͍࣮ફతͳࣝͷަɾϋϯζ Φϯ
ʲ࣮ʳ"*ίʔσΟϯάͰθϩ͔Β ༻αʔϏεΛϦϦʔεͯ͠Ք͙ه )&30;CZ4FDUJPO#:/".&CZ(FOFSBUJWF"HFOUTڞ࠵ ٢ాਅޗ 4FDUJPO (FOFSBUJWF"HFOUT "*ίʔσΟϯάಓ ެ։ษڧձ δϣϯυώϣϯʢṄಓᭈʣ
3PCPDP γχΞίϯαϧλϯτ ୈظ Ռൃදձ 5IV
খ͘͞ධՁͯ͠ େ͖͘ҭͯΔ "*ίʔσΟϯάಓ ୈճ Ռൃදձ ٢ా ਅޗ
ධՁۦಈ։ൃ &WBMVBUJPO%SJWFO%FWFMPQNFOUʹΑΔ࣭ཧ
アプローチ 1. コードによる評価: 完全⼀致、正規表現、JSON形式の 妥当性チェックなど、プログラムコードによる評価。 ・決定的で安価かつ⾼速 ・⾃然⾔語の応答内容のニュアンスを捉えるには限界あ り。 2. LLM
as a Judge: ⼤規模⾔語モデル(LLM)⾃⾝を評 価者として利⽤する⼿法。 ・複雑な評価基準に対応できる可能性がある ・評価⽤LLMのプロンプトエンジニアリングが必要に なるなど、導⼊の難しさも伴う。 3. ⼈間によるアノテーション: ユーザーからのフィード バック(サムズアップ/ダウンなど)を収集したり、専 ⾨のアノテーターがLangSmithのアノテーションキュー を通じて評価を⾏う。
ジャーニー 1. オフライン評価 (Offline Evals) 本番環境に移⾏する前に、 事前に準備したデータセットに対してアプリケーションを実 ⾏し、パフォーマンスを測定・スコアリング。モデルやプロ ンプトの変更がパフォーマンスに与える影響を追跡。 2.
オンライン評価 (Online Evals) 本番環境で稼働中のアプリ ケーションに対し、実際に⼊⼒されるデータの⼀部をサンプ リングしてスコアリング。実際のユーザーインタラクション に基づいたリアルタイムなパフォーマンス監視が可能。 3. インザループ評価 (In-the-loop Evals) エージェントが実⾏ 中に発⽣するEvals。エージェントの応答前に評価を⾏い、誤 りを検知した場合には⾃⼰修正を促し、応答品質の向上や、 不適切な応答のブロックが可能。⽋点は時間とコストの増加。 ミスへの許容度が低い場合や、レイテンシが問題にならない ような⻑時間実⾏されるエージェントに適している。⻑時間 実⾏エージェントの増加に伴い、このタイプのEvalsの重要性 が増すと予測。
openevals https://github.com/langchain-ai/openevals
More Decks by Shingo Yoshida 吉田真吾
See All by Shingo Yoshida 吉田真吾
Claude Codeで作ったアプリを安全に公開する/Built with Claude Japan 2026
yoshidashingo
0
270
Claude Code実践〜個人開発からチーム開発へ
yoshidashingo
0
50
AIに代替されるフリーランス、AIを操りチームを導くリーダー。運命を分ける『AI-DLC』とインテントマネジメント/Intent is All We Need
yoshidashingo
0
130
AI-DLCを活用した高品質・安全なAI駆動開発実践 / AI Driven Development with AI-DLC
yoshidashingo
0
390
早く行きたいならClaude Codeと行け、遠くに行きたいならチームで行け 〜AI駆動開発の講師が教えるAIがリードするチーム開発の実践ノウハウ/Fast w/ Claude Code, Far Together
yoshidashingo
0
73
AI-DLCを活用した高品質・安全なAI駆動開発実践 / AI Driven Development
yoshidashingo
1
880
はじめてのAI-DLC
yoshidashingo
3
1.9k
初手AIで実現する 「AIと一緒に働く」ということ - AIファーストを実現する汎用タスクエージェントのつくりかた / JAWS DAYS 2026
yoshidashingo
0
180
Claude Codeで実践するスペック駆動開発入門 / sdd-with-claude_code
yoshidashingo
4
21k
Other Decks in Technology
See All in Technology
OCI Artifact による自動運転タクシーに向けた OTA 基盤の構築
biwashi
1
300
こんなに変わった! AWSネットワークの常識
shotashiratori
16
11k
Kubernetes, Agones, WebRTC, GPU で作る クラウドゲーミング基盤を本番運用に乗せるまで
vivion
0
270
AWS DevOps Agentの構造から読み解く運用 AI エージェントの設計原則/aws-devops-agent-design-principles
tomoki10
0
280
RAGの改善を速く回すための評価基盤
yosukeyoshida
6
3.6k
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
1.1k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
17
120k
NutanixへのSSHアクセスの今後について
shadowhat
0
170
Web Performance Is a Journey [PerfNow 2026]
tammyeverts
2
150
Is the Website Dying?
miriamschwab
0
150
Amazon EFS のマルウェアスキャンをClamAV で自前実装したら苦労した話
mtmtfactory01
0
110
専門家に使ってもらうAIプロダクトをつくる - 病院の医事課向けDPCコーディング支援システムの設計と評価
hagino3000
4
1k
Featured
See All Featured
Making Projects Easy
brettharned
120
6.9k
A better future with KSS
kneath
240
18k
ラッコキーワード サービス紹介資料
rakko
5
6M
SEO Brein meetup: CTRL+C is not how to scale international SEO
lindahogenes
2
3k
svc-hook: hooking system calls on ARM64 by binary rewriting
retrage
2
690
Agile that works and the tools we love
rasmusluckow
331
22k
End of SEO as We Know It (SMX Advanced Version)
ipullrank
3
4.5k
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
uxyall
2
4k
Have SEOs Ruined the Internet? - User Awareness of SEO in 2025
akashhashmi
0
560
Un-Boring Meetings
codingconduct
0
510
Marketing Yourself as an Engineer | Alaka | Gurzu
gurzu
0
390
Mind Mapping
helmedeiros
1
450