LayerX Biz Boost〜Whisper+GPTによる音声文字起こし要約の取り組み〜

by yakipudding

Slide 1

Slide 1 text

LayerX Biz Boost 〜Whisper+GPTによる音声文字起こし要約の取り組み〜 2023.4.25 LLM(GPT, PaLM等) with MLOps LT大会!!! 白井　仁美(@yakipudding)

Slide 2

Slide 2 text

Confidential © LayerX Inc. 2 画像を入れてね自己紹介白井仁美 @yakipudding - LayerX　MLエンジニア - 3月に弥生からLayerXに転職 - 法人向けSaaS「バクラクシリーズ」請求書OCR機能の開発がメイン - LLM活用の取り組みも

Slide 3

Slide 3 text

What's LayerX Biz Boost?

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

課題＆工夫したこと

Slide 7

Slide 7 text

Whisperが話し手を区別できない問題

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© LayerX Inc. 9 実際の音声：セールス：　バクラクシリーズはAがBでCで・・・とにかくバクラクなんですよ。お客さま：　へー。セールス：　御社の運用ではどういったところに課題を感じていますでしょうか。お客さま：　んーそうですね。やっぱ紙で回すのがつらいですね。 Whisperの文字起こし結果：バクラクシリーズはAがBでCで・・・とにかくバクラクなんですよ。へー。御社の運用ではどういったところに課題を感じていますでしょうか。んーそうですね。やっぱ紙で回すのがつらいですね。 GPTの要約結果：バクラクシリーズはとにかくバクラクです。紙で回すことに課題を感じています。 ➔ 要約結果にセールスが話した内容は不要 ➔ 文字起こし時点で話し手の区別をし、お客さまの発言を抽出して要約したい 1. Whisperは話し手の区別ができない

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© LayerX Inc. 11 話者分離後のWhisperの文字起こし結果： SPEAKER1: バクラクシリーズはAがBでCで・・・とにかくバクラクなんですよ。 SPEAKER2: へー。 SPEAKER1: 御社の運用ではどういったところに課題を感じていますでしょうか。 SPEAKER2: んーそうですね。やっぱ紙で回すのがつらいですね。 GPTのプロンプト：これはセールスと顧客の会話です。顧客の回答を要約してください。 GPTの要約結果：顧客は紙で回すことに課題を感じています。 ➔ GPTがどちらが顧客かを推測して回答してくれる ➔ 要約結果がいい感じになった！ 1. Whisperは話し手の区別ができない

Slide 12

Slide 12 text

GPTの要約結果、なんかちょっと違う問題

Slide 13

Slide 13 text

© LayerX Inc. 13 実際の音声：セールス：　御社の運用ではどういったところに課題を感じていますでしょうか。お客さま：　んーそうですね。やっぱ紙で回すのがつらいですね。・・・（長い会話）・・・ GPTのプロンプト：これはセールスと顧客の会話です。顧客の回答を要約してください。 GPTの要約結果：課題を感じた内容について話題にあがりました。 ➔ 違う、そうじゃない。みたいな結果が返ってくる ➔ 「要約して」だと要約しすぎて本当に聞きたい中身がないことがある 2. 「要約して」だとうまく要約してくれないことがある

Slide 14

Slide 14 text

© LayerX Inc. 14 プロンプトを少し工夫することで改善 - 聞きたい項目について具体的に聞く 1. 顧客が使っているシステムは何ですか？ 2. 顧客が課題に感じていることは何ですか？ 3. 顧客はどうなることを期待していますか？ … - 重要な発言を抽出させてから要約する - 価格に関して言及している発言を抽出してください - 要約してください ➔ GPTがいい感じに答えてくれるようになった 2. 「要約して」だとうまく要約してくれないことがある

Slide 15

Slide 15 text

GPTの文字数制限きつすぎる問題

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© LayerX Inc. 19 後処理でまとめたり再要約させたりする 3. プロンプトの文字数制限がきつい … … … … A,B,Cについて回答して A,B,Cについて回答して A,B,Cについて回答して A,B,Cについて回答して Aは... Bは... Cは... Aは... Bは... Cは... Aは... Bは... Cは... Aは... Bは... Cは... Aは... Bは... Cは...

Slide 20

Slide 20 text

実際に使ってもらった結果

Slide 21

Slide 21 text

© LayerX Inc. 21 - 話者分離するためにpyannoteを使うことで、処理時間が長くなってしまった - そもそも音声処理は重たい - ほぼGPU必須（CPUで動かなくはないが何時間もかかる。。） - 30分の音声ファイルで10分程度かかる - GCP BatchでGPU使うなども工夫したが、これ以上は厳しかった。。 - 忙しいセールスにとって、精度よりも速度のほうが大事だった - 結果的に思ったほど使ってもらえなかった。。実行時間がかかりすぎる

Slide 22

Slide 22 text

© LayerX Inc. 22 - 社内用Webサイトに音声ファイルをアップロードしてもらう形にした - Stleamlit + LangChainでシュッと開発 - いったんPoCということで実装が楽なやり方に倒してしまった - 忙しいセールスにとって、わざわざWebサイトにアクセスしてアップロードするのは面倒だった - 結果的に思ったほど使ってもらえなかった。。（その2）使うまでのハードルが高かった

Slide 23

Slide 23 text

Slide 24

Slide 24 text

ということで

Slide 25

Slide 25 text

© LayerX Inc. 25 CTO松本が初代所長に就任し、LLM Labsチームを立ち上げました https://tech.layerx.co.jp/entry/2023/04/04/110000 LLMの研究・サービスへの導入検証・新規事業探索などに取り組むチームとなっております！興味ある方は是非応募をお待ちしております！！ ※私の所属するバクラク MLチームとは別の組織になりますもちろんバクラクのMLエンジニア/ML Opsエンジニアの方も募集しています！！！ https://open.talentio.com/r/1/c/layerx/pages/63504 https://open.talentio.com/r/1/c/layerx/pages/71190 カジュアル面談もやってますのでお気軽に！！！ https://jobs.layerx.co.jp/6843b7b523ce45e2921e82a03e902edb LayerXではLLM Labsチームを立ち上げました！！！