呪文開発～GPT3/4時代に発生した小さくて新しい作業『プロンプト・エンジニアリング』～

GPT-3/4が登場し、一般のニュースやバラエティでもChatGPTが紹介される時代、みなもすなる作業となってしまった「プロンプト・エンジニアリング」を自分も試してみようと、少し試して失敗した話をスライドにしてみました。成功した話ではないのですが、ご笑覧ください。

Transcript

1. “呪文”開発 ～GPT3/4時代に発生した小さくて新しい作業 「プロンプト・エンジニアリング」～ 2023/03/16 facebook.com/hori.tasuku Tasuku Hori
2. ChatGPTの”呪文”開発 議事録 テキスト 呪文開発はトライ＆エラー (古典開発手法だと..) 入力範囲が無制限 (テストデータ作りが難しい) 答えが毎回違う (品質の均質化が難しい) API自体の更新が早い (従来の運用スパンだと..) 高品質の解答を得られる呪文を指定するには GPT-3.5モデル魔術の使い手の経験が.. 《議事録の要約》 すでに「良い呪文」がわかっているユースケースがいくつかある
3. 「Web会議内容を要約する」を作る 音声 《wav》 《mp3》 動画 《mp4》 《mov》 Web会議データを要約テキストに変換する 要約 テキスト 《utf-8》
4. 連結 単位 時間に 分割 Web会議内容を要約する（これまで） 音声 《wav》 《mp3》 動画 《mp4》 《mov》 Web会議データを要約テキストに変換する 要約 《utf-8》 WAV 形式 に 変換 書き 起こし テキス ト化 音声 音声 《wav》 《wav》 集約 書き 起こし 《utf-8》 要約 書き起 こし1 書き起 こし2 書き起 こし3 《utf-8》 要約１ 要約2 要約3 《utf-8》 FFMPEG 《uses》 《uses》 《python》 PyDub 10分音声の書き 起こしに約50分 (作者実測) 作業分担しやす い単位に再分割 他の作業と比べ やや難易度高め
5. 連結 単位 時間に 分割 Web会議内容を要約する（＋OpenAI） 音声 《wav》 《mp3》 動画 《mp4》 《mov》 Web会議データを要約テキストに変換する 要約 《utf-8》 WAV 形式 に 変換 書き 起こし テキス ト化 音声 音声 《wav》 《wav》 整形 と 集約 書き 起こし 《utf-8》 要約 書き起 こし1 書き起 こし2 書き起 こし3 《utf-8》 要約１ 要約2 要約3 《utf-8》 FFMPEG 《uses》 《uses》 《python》 PyDub 《OpenAI》 Whisper-1 《uses》 《OpenAI》 GPT-3.5 《uses》 書き起こし品質 のフォロー発生 すでに 「良い呪文」 がわかっている すでに 「良い呪文」 がわかっている 人間とAIの協業することで、従来品質を維持 ※分割、集約しているのは、 APIのサイズ制約のため
6. 「整形」せずに全自動にすると • 書き起こし品質が低いパートはあきらめてしまう • ノイズ、いいよどみ、くせ（ええと、あの..）が書き起こし精度を下げる • 分割→要約→結合による問題 • おなじ内容の繰り返しが要約内で発生 • 要約しても問題ない区切り方は、脳内要約できている人ならでは • OpenAI APIの制約（トークン上限）上、分割が必要 この文章は、音声異常検知モデルの試みについて話し合うセッションが行われることを告知しています。録音された身近な音声を使って異常スコアを計算し、その数値が0 に近いほど正常で、離れるほど異常となります。また、講演は録画され、質疑応答はスラックで行われます。さらに、文章では音声データの扱い方や分類機の学習方法に ついても説明されます。この文章は、音声異常検知のために使われる二重次元のベクトルを説明し、特徴抽出機能と分類機のリストについて言及している。また、異常検 知について昔から研究が行われており、特徴抽出の方法は想定環境と被検知した異常イベントによって変える必要があること、パワースペクトログラムによる特徴抽出も有 効であることが述べられている。具体的な解説も含まれている。文章内で音響特徴量の選択と評価について説明されています。具体的には、ローシグナルグラフ、パワー スペクトログラム、ロゴメルスペクトログラムの3つのグラフを順番に評価して、適切な音響特徴量を選択することが重要であるとされています。また、非機能要件の変更 を考えることで異常を検知する方法も提案されています。最後に、録音を行いデータを収集することが重要であると述べられています。The text explains a process involving the use of an MP3 player/recorder and voice recorder for recording, followed by analysis of the recordings using a tool and graph creation for comparison. The goal is to improve accuracy and remove background noise for detecting anomalies in sound. The process involves parameter understanding, knowledge of acoustics and signal processing, logarithmic functions, and trial and error. It is suggested as a potential solution for individualized sound anomaly detection and can be easily customized for different environments. 《EVF2022堀のセッションの要約》 橙色：怪しい、変 赤色：ダメ
7. 全自動 連結 単位 時間に 分割 「整形と集約」呪文開発が成功したら 音声 《wav》 《mp3》 動画 《mp4》 《mov》 Web会議データを要約テキストに変換する 要約 《utf-8》 WAV 形式 に 変換 書き 起こし テキス ト化 音声 音声 《wav》 《wav》 整形 と 集約 書き 起こし 《utf-8》 要約 書き起 こし1 書き起 こし2 書き起 こし3 《utf-8》 要約１ 要約2 要約3 《utf-8》 FFMPEG 《uses》 《uses》 《python》 PyDub 《OpenAI》 Whisper-1 《uses》 《OpenAI》 GPT-3.5 《uses》 「良い呪文」を 見つけると 《uses》 「良い呪文」を見つけると、業務の自動化が進む
8. 「整形」プロンプト・エンジニアリング • 次の文章の誤字脱字を修正した文章を出力して。「」 • ☓：文章が６行でカットされてしまう • 次の文章に句読点を付けて、読みやすくした文章を出力して。「」 • ☓：文章が５行でカットされてしまう、・・・で止めた文章に • 次の文章の中で、意味のない文章を削除した文章を出力して。「」 • ☓：意味のない文章がそもそも残ってしまう • 次の文章は、要約文を連結しているため、重複する箇所が残ってい る可能性があるため、重複を除いて読みやすい要約文になおして出 力して。「」 • ☓：文章が短い状態で出力してしまう 結局、トライ＆エラー 注：「整形」呪文はまだ完成していません
9. 「整形と集約」開発中の画面 呪文解説中の正解判定は”人間”が行う 要約 無意味文除去 句読点補正 読みやすく 書き起こし EVF2020堀のセッション音声を使った試行
10. おわり １８年前：オフショアメンバとの対話で苦戦 今：大規模AIモデルとの対話で苦戦