ChatGPT選手権! LT大会 @Findy

2022/03/23 @ChatGPT選手権!
エンジニアリングに組み込んでみたらこうなりました LT大会

Transcript

1. © 2023 Findy Inc. ChatGPT利用サービスを1週間で 作るためにAIと心を通わせた話 2022/03/23 @ChatGPT選手権! エンジニアリングに組み込んでみたらこうなりました LT大会 笹野 翔太
2. © 2023 Findy Inc. 今日話すこと • 自己紹介 • なにをつくったか • GPTお気持ち三銃士 • 振り返りと今後
3. © 2023 Findy Inc. 自己紹介
4. © 2023 Findy Inc. 笹野 翔太(@sasanoshouta) • 2022年7月〜機械学習エンジニアとしてジョイン • 主な業務 ◦ 既存アルゴリズムの精度改善 ◦ MLOps基盤構築 ◦ データ分析 ◦ 新規技術の開発 • 扱う事の多いドメイン ◦ 自然言語 ◦ テーブルデータ ファインディ株式会社 プロダクト開発　アルゴリズム企画開発チーム
5. © 2023 Findy Inc. ChatGPTエンジニアキャリアまとめ(β)とは
6. © 2023 Findy Inc. ChatGPTエンジニアキャリアまとめ(β)とは • ChatGPT APIを用いてキャリアを要約&二つ名が付く機能 • 発表者笹野の二つ名は...
7. © 2023 Findy Inc. ちなみに要約の方はこんなフォーマット • 推薦状のような形式にしたい • 変な入力にはできるだけ強く ありたい • 他人の経歴が混ざらないよう にしたい
8. © 2023 Findy Inc. 開発からリリースまで1週間 プロダクトマネージャー 業界最速を目指して 1週間で作ろう！
9. © 2023 Findy Inc. 開発からリリースまで1週間 一週間！？ PdM フロントエンド バックエンド デザイン バックエンド プロンプト
10. © 2023 Findy Inc. 開発からリリースまで1週間 出来らあっ！！ PdM フロントエンド バックエンド デザイン バックエンド プロンプト
11. © 2023 Findy Inc. 本題 お気持ち三銃士
12. © 2023 Findy Inc. 初日 2/27(月) 2/28(火) 3/1(水) 3/2(木) 3/3(金) 3/6(月) PdM フロントエンド バックエンド プロンプト デザイン
13. © 2023 Findy Inc. 2日目 2/27(月) 2/28(火) 3/1(水) 3/2(木) 3/3(金) 3/6(月) PdM フロントエンド バックエンド プロンプト デザイン
14. © 2023 Findy Inc. 3日目 2/27(月) 2/28(火) 3/1(水) 3/2(木) 3/3(金) 3/6(月) PdM フロントエンド バックエンド プロンプト デザイン 💦
15. © 2023 Findy Inc. 進捗ダメです
16. © 2023 Findy Inc. 数日間GPTモデルと向き合って 見えてきたもの
17. © 2023 Findy Inc. それは…
18. © 2023 Findy Inc. ブロロロロ・・・ text-davinch-003
19. © 2023 Findy Inc. GPTお気持ち三銃士を連れてきたよ（というか勝手に来た） よっす よろしく うっす
20. © 2023 Findy Inc. 心を通わせないといけない ということでした…
21. © 2023 Findy Inc. GPTお気持ち三銃士 愛しさ 心強さ 切なさ
22. © 2023 Findy Inc. 愛しさ • たくさんお話ししてくれる ◦ タイムアウトするくらい出力しちゃう • いっぱい考えてくれる ◦ 処理が遅い • ちょっと人の話を聞かない事が玉にキズ ◦ 入力値(token)の上限が低い
23. © 2023 Findy Inc. 切なさ • 柔軟に意見を変える ◦ 出力が安定しない • 人の気持ちを考えられる ◦ 命令無視してって言われると従っちゃう • 押しにちょっと弱い ◦ 一度断っても再度言うと受け入れる
24. © 2023 Findy Inc. 心強さ • オウム返しコミュニケーション ◦ まったくまとめにならない • 少し過去を引きずってしまう ◦ なぜか1つ前の入力値を混ぜてくる
25. © 2023 Findy Inc. ん〜〜〜（言葉にならない）
26. © 2023 Findy Inc. ココロ かよわせて、いくしかない
27. © 2023 Findy Inc. どうコミュニケーションしたか （どうプロンプト書いたか）
28. © 2023 Findy Inc. vs 愛しさ • タイムアウトするくらい出力しちゃう ◦ → 〇〇文字以下でと何度も頼む（書く） • 処理が遅い ◦ → 打つ手なし • 入力値(token)の上限が低い ◦ → 出力とのバランスを見てギリギリまで削る
29. © 2023 Findy Inc. vs 切なさ • 出力が安定しない ◦ → 安定するまでひたすらフォーマット整形 • 命令無視してって言われると従っちゃう ◦ → 定番のインジェクション対策 • 一度断っても再度言うと受け入れる ◦ → 打つ手なし
30. © 2023 Findy Inc. vs 心強さ • まったくまとめにならない ◦ → レベル感をプロンプトに入れ込む • なぜか1つ前の入力値を混ぜてくる ◦ → 打つ手なし
31. © 2023 Findy Inc. 一定の対応はなんとかできたが 打つ手なしのものが複数
32. © 2023 Findy Inc. 3日目夜 2/27(月) 2/28(火) 3/1(水) 3/2(木) 3/3(金) 3/6(月) PdM フロントエンド バックエンド プロンプト デザイン 💦
33. © 2023 Findy Inc. 少し追いついたが まだヤバい…！
34. © 2023 Findy Inc. しかし 笹野に 電流走る――！
35. © 2023 Findy Inc. ChatGPT APIが3/2未明にまさかのリリース
36. © 2023 Findy Inc. GPT-3.5-turbo text-davinch-003
37. © 2023 Findy Inc. すぐに乗り換えました
38. © 2023 Findy Inc. 3.5-turboで全部解決！ • 処理が遅い ◦ → 3.5-turboで解決！ • 一度断っても再度言うと受け入れる ◦ → なぜか3.5-turboで解決！ • なぜか1つ前の内容を混ぜてくる ◦ → なぜか3.5-turboで解決！
39. © 2023 Findy Inc. 一気に進捗！ 2/27(月) 2/28(火) 3/1(水) 3/2(木) 3/3(金) 3/6(月) PdM フロントエンド バックエンド プロンプト デザイン
40. © 2023 Findy Inc. そしてついに…
41. © 2023 Findy Inc. 無事リリース！
42. © 2023 Findy Inc. 振り返りと今後について • GPTナニモワカラナイ ◦ 向き合い続ける必要がある • プロンプトエンジニアリング is 地味 ◦ ひたすらトライアンドエラーをした ◦ 数百回叩き続けた • 現在はGPT-4や、〇〇式プロンプトが話題 ◦ 流れ早すぎワロタ • 最後は気合と根性で走り切る姿勢が大事（あと祈り） • ChatGPT APIを活用した新機能の第2弾を絶賛開発中 • LLM内製化に着手
43. © 2023 Findy Inc. ご清聴ありがとうございました