Claude Codeで評価を楽にする

AIを紡ぐ者たち #2 ～本当にラクになった？生成AIで削った業務・増えた業務～
https://3-shake.connpass.com/event/399003/
で話した内容です。

Transcript

1. Claude Code で評価を楽にする AIを紡ぐ者たち #2 ～本当にラクになった？生成AIで削った業務・増えた業務～ Sreake事業部 佐藤慧太 Copyright © 3-shake, Inc. All Rights Reserved. 1
2. 自己紹介 佐藤 慧太@SatohJohn • 2023/1 株式会社スリーシェイク入社 • Google Cloud Partner Top Engineer ’24、’25、’26 選出 Google Cloud All Certificate • お客様の労苦<Toil>を減らす 機械学習何もわからん • 娘のお世話を精一杯やっています
3. 結論 楽になった 3
4. 結論 楽になった ただ、頑張らないといけないことが増えた 4
5. 01 業務概要 Copyright © 3-shake, Inc. All Rights Reserved. 5
6. 楽になった箇所 - タスク内容 1. 生成 AI を使った pipeline 処理のチューニング 2. チューニングを実施して、結果のバージョンを管理 3. Cloud Run Service で結果を公開 4. 結果の要約と分析 5. 分析結果を元にチューニングの実施 6
7. 楽になった箇所 - タスク内容 1. 生成 AI を使った pipeline 処理のチューニング 2. チューニングを実施して、結果のバージョンを管理 3. Cloud Run Service で結果を公開 4. 結果の要約と分析 個人的には一番楽になった 5. 分析結果を元にチューニングの実施 7
8. 環境 https://devblog.thebase.in/entry/pon 8
9. Claude Code による SKILL 作成を行い、以下の大半を自動化 1. Claude Code を使ってテスト実施評価、html と 結果 json のデプロイを依頼 a. テストデータに基づく TP, FP, TN, FN や Recall, Precision を計算 b. 詳しい結果の html を作成 + Dashboard に追加 c. 会話をコンテキストに SKILL Creator を実施 2. 結果の分析を行い、何が今回効いたのか、効かなかったを分析 3. 結果から、次にどういうことができそうかを壁打ち 4. 決定した内容で実装し、再度評価 9
10. 02 やって感じたこと Copyright © 3-shake, Inc. All Rights Reserved. 10
11. とにかく訊く 11
12. とにかく訊く 私のような機械学習ペーペーより Claude のほうがベースの知識が多いし、早い ➢ 重箱の隅をつつくのは人間の仕事 「それで良いと思っている？」 ➢ ただ業務ドメイン知識はこちらのほうが十分にあるし 大量にあるコンテキストをうまく引っ張ってくるのは、まだ人間のほうが強い ➢ 機転のきかせ方もまだ勝てる 「ここ並列にしたら？こういう手もあるんじゃない？」 12
13. 楽にならなくなった部分 できることが増えた分、説明の必要が増えた。 → 理解しないといけないことが増えた あっている、あってないの間違い探しというよりは 自分がやっている責任があるので 人に結果を説明するうえで重要 「ほんとに?」、「その処理って必要?」、「つまり？」 を詰めていく繰り返していく 13
14. 訊いて学べ 新人の頃にやってたように、とにかく訊く ➢ 「中学生がわかるレベルで教えて」 「ソレってなんでやっているの？」 ➢ 同時にでてきた単語についてネット検索する 最低限は自分で実装する ➢ 最悪 (LLM がなくなった世界 ≒ 原始時代) に戻っても 生き残れるだけの知識とスキルを蓄えておく 14
15. 03 終わりに Copyright © 3-shake, Inc. All Rights Reserved. 15
16. 定型雑務を自動でやってくれている 自分の考えを壁打ちできる 楽になった 16
17. たくさん出てくるアウトプットを 自分の言葉で説明する 頑張る必要がある とはいえ、知らないことを知る+勉強は面白いので 個人的には苦ではない 17
18. 結論 楽になった ただ、頑張らないといけないことが増えた 18