Slide 1

Slide 1 text

© 2023 Findy Inc. ChatGPT利用サービスを1週間で 作るためにAIと心を通わせた話 2022/03/23 @ChatGPT選手権! エンジニアリングに組み込んでみたらこうなりました LT大会 笹野 翔太

Slide 2

Slide 2 text

© 2023 Findy Inc. 今日話すこと ● 自己紹介 ● なにをつくったか ● GPTお気持ち三銃士 ● 振り返りと今後

Slide 3

Slide 3 text

© 2023 Findy Inc. 自己紹介

Slide 4

Slide 4 text

© 2023 Findy Inc. 笹野 翔太(@sasanoshouta) ● 2022年7月〜機械学習エンジニアとしてジョイン ● 主な業務 ○ 既存アルゴリズムの精度改善 ○ MLOps基盤構築 ○ データ分析 ○ 新規技術の開発 ● 扱う事の多いドメイン ○ 自然言語 ○ テーブルデータ ファインディ株式会社 プロダクト開発 アルゴリズム企画開発チーム

Slide 5

Slide 5 text

© 2023 Findy Inc. ChatGPTエンジニアキャリアまとめ(β)とは

Slide 6

Slide 6 text

© 2023 Findy Inc. ChatGPTエンジニアキャリアまとめ(β)とは ● ChatGPT APIを用いてキャリアを要約&二つ名が付く機能 ● 発表者笹野の二つ名は...

Slide 7

Slide 7 text

© 2023 Findy Inc. ちなみに要約の方はこんなフォーマット ● 推薦状のような形式にしたい ● 変な入力にはできるだけ強く ありたい ● 他人の経歴が混ざらないよう にしたい

Slide 8

Slide 8 text

© 2023 Findy Inc. 開発からリリースまで1週間 プロダクトマネージャー 業界最速を目指して 1週間で作ろう!

Slide 9

Slide 9 text

© 2023 Findy Inc. 開発からリリースまで1週間 一週間!? PdM フロントエンド バックエンド デザイン バックエンド プロンプト

Slide 10

Slide 10 text

© 2023 Findy Inc. 開発からリリースまで1週間 出来らあっ!! PdM フロントエンド バックエンド デザイン バックエンド プロンプト

Slide 11

Slide 11 text

© 2023 Findy Inc. 本題 お気持ち三銃士

Slide 12

Slide 12 text

© 2023 Findy Inc. 初日 2/27(月) 2/28(火) 3/1(水) 3/2(木) 3/3(金) 3/6(月) PdM フロントエンド バックエンド プロンプト デザイン

Slide 13

Slide 13 text

© 2023 Findy Inc. 2日目 2/27(月) 2/28(火) 3/1(水) 3/2(木) 3/3(金) 3/6(月) PdM フロントエンド バックエンド プロンプト デザイン

Slide 14

Slide 14 text

© 2023 Findy Inc. 3日目 2/27(月) 2/28(火) 3/1(水) 3/2(木) 3/3(金) 3/6(月) PdM フロントエンド バックエンド プロンプト デザイン 💦

Slide 15

Slide 15 text

© 2023 Findy Inc. 進捗ダメです

Slide 16

Slide 16 text

© 2023 Findy Inc. 数日間GPTモデルと向き合って 見えてきたもの

Slide 17

Slide 17 text

© 2023 Findy Inc. それは…

Slide 18

Slide 18 text

© 2023 Findy Inc. ブロロロロ・・・ text-davinch-003

Slide 19

Slide 19 text

© 2023 Findy Inc. GPTお気持ち三銃士を連れてきたよ(というか勝手に来た) よっす よろしく うっす

Slide 20

Slide 20 text

© 2023 Findy Inc. 心を通わせないといけない ということでした…

Slide 21

Slide 21 text

© 2023 Findy Inc. GPTお気持ち三銃士 愛しさ 心強さ 切なさ

Slide 22

Slide 22 text

© 2023 Findy Inc. 愛しさ ● たくさんお話ししてくれる ○ タイムアウトするくらい出力しちゃう ● いっぱい考えてくれる ○ 処理が遅い ● ちょっと人の話を聞かない事が玉にキズ ○ 入力値(token)の上限が低い

Slide 23

Slide 23 text

© 2023 Findy Inc. 切なさ ● 柔軟に意見を変える ○ 出力が安定しない ● 人の気持ちを考えられる ○ 命令無視してって言われると従っちゃう ● 押しにちょっと弱い ○ 一度断っても再度言うと受け入れる

Slide 24

Slide 24 text

© 2023 Findy Inc. 心強さ ● オウム返しコミュニケーション ○ まったくまとめにならない ● 少し過去を引きずってしまう ○ なぜか1つ前の入力値を混ぜてくる

Slide 25

Slide 25 text

© 2023 Findy Inc. ん〜〜〜(言葉にならない)

Slide 26

Slide 26 text

© 2023 Findy Inc. ココロ かよわせて、いくしかない

Slide 27

Slide 27 text

© 2023 Findy Inc. どうコミュニケーションしたか (どうプロンプト書いたか)

Slide 28

Slide 28 text

© 2023 Findy Inc. vs 愛しさ ● タイムアウトするくらい出力しちゃう ○ → 〇〇文字以下でと何度も頼む(書く) ● 処理が遅い ○ → 打つ手なし ● 入力値(token)の上限が低い ○ → 出力とのバランスを見てギリギリまで削る

Slide 29

Slide 29 text

© 2023 Findy Inc. vs 切なさ ● 出力が安定しない ○ → 安定するまでひたすらフォーマット整形 ● 命令無視してって言われると従っちゃう ○ → 定番のインジェクション対策 ● 一度断っても再度言うと受け入れる ○ → 打つ手なし

Slide 30

Slide 30 text

© 2023 Findy Inc. vs 心強さ ● まったくまとめにならない ○ → レベル感をプロンプトに入れ込む ● なぜか1つ前の入力値を混ぜてくる ○ → 打つ手なし

Slide 31

Slide 31 text

© 2023 Findy Inc. 一定の対応はなんとかできたが 打つ手なしのものが複数

Slide 32

Slide 32 text

© 2023 Findy Inc. 3日目夜 2/27(月) 2/28(火) 3/1(水) 3/2(木) 3/3(金) 3/6(月) PdM フロントエンド バックエンド プロンプト デザイン 💦

Slide 33

Slide 33 text

© 2023 Findy Inc. 少し追いついたが まだヤバい…!

Slide 34

Slide 34 text

© 2023 Findy Inc. しかし 笹野に 電流走る――!

Slide 35

Slide 35 text

© 2023 Findy Inc. ChatGPT APIが3/2未明にまさかのリリース

Slide 36

Slide 36 text

© 2023 Findy Inc. GPT-3.5-turbo text-davinch-003

Slide 37

Slide 37 text

© 2023 Findy Inc. すぐに乗り換えました

Slide 38

Slide 38 text

© 2023 Findy Inc. 3.5-turboで全部解決! ● 処理が遅い ○ → 3.5-turboで解決! ● 一度断っても再度言うと受け入れる ○ → なぜか3.5-turboで解決! ● なぜか1つ前の内容を混ぜてくる ○ → なぜか3.5-turboで解決!

Slide 39

Slide 39 text

© 2023 Findy Inc. 一気に進捗! 2/27(月) 2/28(火) 3/1(水) 3/2(木) 3/3(金) 3/6(月) PdM フロントエンド バックエンド プロンプト デザイン

Slide 40

Slide 40 text

© 2023 Findy Inc. そしてついに…

Slide 41

Slide 41 text

© 2023 Findy Inc. 無事リリース!

Slide 42

Slide 42 text

© 2023 Findy Inc. 振り返りと今後について ● GPTナニモワカラナイ ○ 向き合い続ける必要がある ● プロンプトエンジニアリング is 地味 ○ ひたすらトライアンドエラーをした ○ 数百回叩き続けた ● 現在はGPT-4や、〇〇式プロンプトが話題 ○ 流れ早すぎワロタ ● 最後は気合と根性で走り切る姿勢が大事(あと祈り) ● ChatGPT APIを活用した新機能の第2弾を絶賛開発中 ● LLM内製化に着手

Slide 43

Slide 43 text

© 2023 Findy Inc. ご清聴ありがとうございました