OpenAI社のWhisper APIを使ってみた！ / ChatGPT研究会 第7弾 (ALGYAN)

Transcript

1. 2023年5月20日 (土) ChatGPT研究会 第7弾 @オンライン 豊田陽介（ ） @youtoy OpenAI社のWhisper APIを 使ってみた！
2. 自己紹介 豊田陽介（ ） @youtoy ・IT系イベント主催、登壇や運営なども ・共著・単著の本を出していたり ・ Microsoft MVP（2021/10 から） プライベートでの活動 ・ガジェット大好き ・ChatGPTは昨年の12月2日から利用開始 ※ アドベントカレンダーで、12月2日 　　やその他の日で ChatGPTネタの 　　記事を書いたりも 好きなこと、他
3. OpenAI社の 「Whisper API」の話
4. 「Whisper API」の概要説明（公式） https://openai.com/blog/introducing-chatgpt-and-whisper-apis より ▼「Whisper」は 2022年9月に 　 オープンソース化された 　「Speech to Textモデル」 ▼「Whisper API」は API経由で 　それを利用可能（※ large-v2 　モデル） ▼ API の料金は「$0.006/分」
5. 「Whisper API」の概要説明（公式） https://openai.com/blog/introducing-chatgpt-and-whisper-apis より ▼「Whisper」は 2022年9月に 　 オープンソース化された 　「Speech to Textモデル」 ▼「Whisper API」は API経由で 　それを利用可能（※ large-v2 　モデル） ▼ API の料金は「$0.006/分」
6. 「Whisper API」の概要説明（公式） https://openai.com/blog/introducing-chatgpt-and-whisper-apis より ▼ API でできること ・いろいろな言語の書き起こし ・書き起こし＋英語への翻訳 ▼ 対応フォーマット 　⇒ m4a, mp3, mp4, mpeg, 　　 mpga, wav, webm
7. 現在ベータ版（2023年5月20日時点） https://platform.openai.com/docs/guides/speech-to-text
8. とりあえず日本語音声で 「Whisper API」を試す
9. Whisper API の使う方法 https://openai.com/blog/introducing-chatgpt-and-whisper-apis より Python curl
10. オプションの1つ：言語指定 言語指定をすることで 「精度と遅延」が改善される
11. curlを使って実際に試してみる ▪手順 　1）処理対象の音声ファイルの内容を確認 　2）curlコマンドで API を利用してみる 　 ※ APIキーは環境変数「$OPENAI_API_KEY」に設定
12. curlを使って実際に試してみる ▪手順 　1）処理対象の音声ファイルの内容を確認 　2）curlコマンドで API を利用してみる 　 ※ APIキーは環境変数「$OPENAI_API_KEY」で設定 curl https://api.openai.com/v1/audio/transcriptions \ -H "Authorization: Bearer $OPENAI_API_KEY" \ -H "Content-Type: multipart/form-data" \ -F model="whisper-1" \ -F file="@【ファイルのパス＋ファイル名】" \ -F language="ja" 言語指定： 「ja」
13. ライブデモ
14. ちょっとした処理なら 簡単に実行できてしまう
15. 今度は「Node.js」で
16. Whisper API の使う方法 https://platform.openai.com/docs/api-reference/audio/create?lang=node より Node.js
17. ちょっと修正が必要
18. Node.jsからAPIを使う ※ APIキーは環境変数「$OPENAI_API_KEY」で設定
19. Node.jsでの 処理結果を確認
20. ライブデモ
21. 音声データに関する注意 25MBまで PyDub を使った対応例 （部分的な取り出し） ▪ファイルサイズの制限
22. 少し余談： 先ほど使った音声ファイルは？
23. Mozillaが公開しているデータセット ▪Common Voice　 　https://commonvoice.mozilla.org/ja
24. オープンなデータセットのクラウドソーシング
25. 日本語の音声データもある 今回は「Common Voice Delta Segment 13.0」を利用 試したもの
26. ダウンロードしたデータの中身 たくさんの mp3ファイル 音声ファイルに 関する情報のリスト
27. テスト用のファイルを 手軽にゲットできる！
28. ここで 「API」ではないほうの話
29. オープンソース化されていた 「Whisper」
30. 「Whisper」のオープンソース化とAPI ▪ 提供開始は以下 　 ※ 以下の年月日は、OpenAIの公式記事のタイムスタンプベース 　• 2022年9月21日： オープンソース化 　　⇒ https://github.com/openai/whisper にて 　• 2023年3月1日： Whisper API の一般公開 　　※ ChatGPT API の一般公開と同時
31. モデルデータや対応言語 ・・・ 複数のモデルがある （ファイルサイズ、精度、 　処理速度などの違いあり） 様々な言語に対応 （グラフは精度に 　関する内容）
32. このあたりを読んでみると良さそう https://qiita.com/diesekiefer/items/00d8c1507829b58a62ab 日本語で概要が 説明されている記事
33. 活用の幅を拡げるために
34. 長時間の音声ファイルの 書き起こしへの対応
35. 【再掲】音声データに関する注意 25MBまで ▪ファイルサイズの制限
36. 25MBより大きい ファイルを扱う場合
37. 対応方法の例 ▪ ファイルサイズを小さくする 　• ファイルを分割する 　• ファイルの圧縮をする／圧縮率を上げる 　　 ※ 場合によっては、精度に影響する可能性が？
38. OpenAIのドキュメントに書かれている例 PyDub で冒頭10分を 取り出す処理
39. Pydubについて Python で音声ファイル を処理できる
40. （Whisper API自体の話では 　ない方向になりますが...）
41. 黒い画面が 苦手でなければ
42. ffmpegを使って特定の部分の取り出し ▪コマンドの例： 　切り出しの始点と終点を指定 ffmpeg -ss 【開始部分（秒数指定）】 -to 【終了部分（hh:mm:ss など）】 -i 【入力ファイル名】 -c copy 【出力ファイル名】
43. 少し補足
44. ffmpegについて https://ffmpeg.org/ クロスプラットフォームで 様々な種類の映像・音声 ファイル等の処理が可能
45. ファイル分割の処理も コマンド1つで
46. ffmpegを使ってファイル分割 ▪コマンドの例： 　特定の時間の長さ毎に分割する ffmpeg -i 【入力ファイル】 -f segment -segment_time 【時間】 -c copy -reset_timestamps 1 【出力ファイル名】 ※ 出力ファイルでの連番の指定例： output_%03d.m4a
47. ちょうどよい 区切りを見つける
48. ▪コマンドの例： 　無音区間を見つける ffmpeg -i 【入力ファイル（音声）】 -af silencedetect=n=【許容する ノイズのレベル】:d=【検出する区間の長さの閾値】 -vn -f null - 再びffmpegを使った例
49. ライブデモ
50. ▪ silencedetect=n=0.001:d=1.0 ▪ silencedetect=n=0.001:d=1.5 ffmpegの「silencedetect」の出力例
51. ▪ silencedetect=n=0.001:d=0.5 ffmpegの「silencedetect」の出力例
52. 他のツールなどを使った例を探す ▪ 関連するキーワード 　・ Voice Activity Detection 　・ 音声区間検出 　・ 発話区間検出 　・ Silence detection 　・ 無音区間検出
53. 探してみると GUIツールを使う方法も
54. ちょうどよい区切りを 見つける ＋ ファイルサイズも考慮して分割
55. Pydubを使った事例 ▪【Google Colab】音声ファイルを無音区間で 　　25MB以下に分割する | agusblog 　　https://agusblog.net/colab-file-split/ 無音区間を検出して区切りとする ＋ 指定サイズを超えないようにファイル結合
56. 動画ファイルから 音声ファイルを抽出
57. ▪コマンドの例： 　動画ファイルから音声をファイルで抽出 ffmpeg -i 【入力ファイル（動画）】 -vn -acodec copy 【出力ファイル （音声）】 ffmpegを使った例
58. その他の 様々な活用
59. ・リアルタイムな入力に対する音声認識 ・話者判別の仕組みとの組み合わせ ・認識結果をChatGPTで要約 様々なことを試された事例（一部のみ） Whisper API 活用していきましょう！
60. 終わり！