LLMで議事録を作ってみた ~GPT-4o vs Gemini1.5 Pro vs Claude 3 Opus、三つ巴の戦い~

2024年5月時点で比較的高性能なLLMである、GPT-4o、Gemini1.5 Pro、Claude 3 Opusを使って、会議の文字起こしデータから議事録を作成しました。
それぞれで議事録を作り、性能を比較しています。

Transcript

1. LLMで議事録を作ってみた ~GPT-4o vs Gemini1.5 Pro vs Claude 3 Opus、三つ巴の戦い ~ 林 佑亮 はやし ゆうすけ
2. きっかけ 議事録作成のステップ データ集め 前処理 LLMで議事録作成 各モデルでの結果を比較 まとめ、感想 アジェンダ はやし ゆうすけ 2
3. 話すこと LLMで議事録を作って評価をする一連の流れ 話さないこと 技術トピックの詳細 話すこと、話さないこと はやし ゆうすけ 3
4. 林 佑亮（新卒 4年目） データサイエンティスト ＠株式会社インテージ 最近は LLMの PoCや社内開発に従事 自己紹介 はやし ゆうすけ 4
5. 営業部署の社員 「 AIに議事録を作ってもらおうとしたけど、文字起こしの時点で諦めた」 「文字起こしにノイズが多くて使いものになる気がしない」 ぼく 「生成 AIで議事録作成って割とよく聞くイメージあるけど、案外難しいのかな？」 → 一回やってみるか きっかけ はやし ゆうすけ 5
6. 1. データ集め 2. 前処理 3. LLMで議事録作成 4. 各モデルでの結果を比較 今回やったこと はやし ゆうすけ 6
7. 2024年 5月時点で性能の高いモデルを 3つチョイス (いずれもマルチモーダルなモデル ) モデル名 会社 発表日時 コンテキストウ ィンドウ 備考 GPT-4o OpenAI 2024/5/13 128k トークナイザーが新しくなり、日本 語のトークン数が以前より削減 Gemini 1.5 Pro Google 2024/2/15 約 1000k これまでの LLMで最長クラスのコン テキスト長を誇る Claude 3 Opus Anthropic 2024/3/4 200k 多くのベンチマークで GPT-4を超え ていることで話題に 使用した LLMについて はやし ゆうすけ 7
8. 一般的なベンチマークでの性能は GPT-4oが 僅差で勝っているが、ほぼ同等の性能と言え る (出典 : https://openai.com/index/hello-gpt- 4o/) 参考： LLMの性能比較 はやし ゆうすけ 8
9. 1. データ集め 2. 前処理 3. LLMで議事録作成 4. 各モデルでの結果を比較 今回やったこと はやし ゆうすけ 9
10. Teamsの文字起こしを使い、会議 2回分のテキストデータを入手 いずれもデータ分析案件（ SEM）の分析チームの定例会議（ 1回 30分） モデル作成〜結果のまとめ方が主な議題 データ集め はやし ゆうすけ 10
11. 発言時間、発言者、発言内容の情報から なる 発言にはフィラー（会話のつなぎ 言葉）が結構混ざる 誤字脱字がそこそこある 専門用語は間違えやすい印象 ex） ◦純粋想起 ×純粋早期 聞き間違いも時々ある ex） ◦探索的 ×参加的 データの特徴 はやし ゆうすけ 11
12. 1. データ集め 2. 前処理 3. LLMで議事録作成 4. 各モデルでの結果を比較 今回やったこと はやし ゆうすけ 12
13. 文字起こしの可読性を上げるために、 Pythonで以下の処理を実施 一部記号や空白の除去 アルファベットと数字を半角に統一 jaconvを使用 フィラーの除去 Ginzaを使用 同じ発言者が連続している発言を結合 前処理 はやし ゆうすけ 13
14. 1. データ集め 2. 前処理 3. LLMで議事録作成 4. 各モデルでの結果を比較 今回やったこと はやし ゆうすけ 14
15. システムプロンプトとユーザープロンプ トに分割 システムプロンプト：議事録のフ ォーマットや文字起こしデータの 概要を記載 ユーザープロンプト：文字起こし データを代入 一回のやり取りで議事録を作成 （今回使用したモデルはいずれもコンテ キストが十分長い） プロンプト設計 はやし ゆうすけ 15
16. システムプロンプト はやし ゆうすけ 16
17. ユーザープロンプト はやし ゆうすけ 17
18. 作成された議事録 GPT-4o_会議 A データ由来の誤字はあるが、情報の粒度や内容はおおよそ揃っている ネクストアクションが一部異なる はやし ゆうすけ 18
19. GPT-4o_会議 B 情報の粒度の濃淡があるが、内容の間違いはほとんどない ネクストアクションの担当者が一部不正確 はやし ゆうすけ 19
20. Gemini 1.5 Pro_会議 A 人・ GPT-4oよりも粒度がやや細かめ ネクストアクションに一部間違い・過不足がある はやし ゆうすけ 20
21. Gemini 1.5 Pro_会議 B 内容は正しいが、サマリーが分析結果の議論に偏重している ネクストアクションは人よりも具体的で正確 はやし ゆうすけ 21
22. Claude 3 Opus_会議 A 人・ GPT-4oよりも粒度がやや細かいが、記載内容は正確 はやし ゆうすけ 22
23. Claude 3 Opus_会議 B サマリーが顧客関係と結果議論に偏重している ネクストアクションは正確に記載できている はやし ゆうすけ 23
24. 1. データ集め 2. 前処理 3. LLMで議事録作成 4. 各モデルでの結果を比較 今回やったこと はやし ゆうすけ 24
25. 基本的に全部高性能で、使い物にならない議事録はない どのモデルもハルシネーションはほとんどない 一方、ネクストアクションの担当者を正確に記載するのはいずれも難しい GPT-4oと Gemini 1.5 Pro、 Claude 3 Opusでやや傾向が異なる GPT-4oの方が全体を踏まえている：議題を満遍なく拾っている（唯一稼働状況に触れて いる） 、人と同程度の粒度でまとめている Gemini 1.5 Pro、 Claude 3 Opusはやや情報が細かく、偏る傾向がある 定性的な評価 はやし ゆうすけ 25
26. 人の議事録を正解とし、 LLMの議事録を評価する i. LLMに定量的な評価基準を作成してもらう ii. 評価基準に従い、議事録を LLMに見せて点数をつけてもらう iii. 点数を比較する LLMを使って評価 はやし ゆうすけ 26
27. 1. LLMに定量的な評価基準を作成してもらう GPT-4oに以下の基準を作成してもらった 項目 説明 評価方法 完全 性 全ての議題や重要ポイントが漏れ なく含まれている 0点 (20%以下 )〜 5点 (100%カバー ) 正確 性 記載情報が正確で、誤解されやす い情報がない 0点 (全体的に意味をなさない /誤りが多い )〜 5点 (誤 りなし ) 簡潔 性 冗長でなく、簡潔でわかりやすい 1点 (読み続けることが不可能なレベルの冗長性 )〜 5 点 (完全に簡潔で無駄がない ) はやし ゆうすけ 27
28. 1. LLMに定量的な評価基準を作成してもらう GPT-4oに以下の基準を作成してもらった 項目 説明 評価方法 一貫 性 一貫した表現・用語が使われている 1点 (一貫性がなく、意味が不正確 )〜 5点 (表 現の一貫性が保たれている ) 判読 性 記述がわかりやすく、読みやすい。構成が 論理的でスムーズに読める 1点 (理解不能な部分が多すぎる )〜 5点 (大変 読みやすい ) はやし ゆうすけ 28
29. 2. 評価基準に従い、議事録を LLMに見せて点数をつけてもらう 他の LLMが作成した議事録を採点してもらう ex） GPT-4oの作成した議事録 →Gemini 1.5 Proと Claude 3 Opusが採点 システムプロンプトで前述の評価基準を提示し、以下のユーザープロンプトで評価を実行 はやし ゆうすけ 29
30. 3. 点数を比較する 勝敗は GPT-4oが優勢となったが、点数は僅差であり優劣は判断し難い 評価基準を作ったのが GPT-4oなので、 GPT-4oに有利な可能性がある はやし ゆうすけ 30
31. 生成 AIによる議事録作成は可能であり、実用レベル 特に GPT-4oが全体的なバランスに優れた結果を出すが、他のモデルも十分高性能 文字起こしの精度がボトルネック？ 文字起こしの誤字脱字が減るとより高精度な議事録が作成できそう 評価基準の精緻化や会議の種類に合わせたプロンプト設計によって、さらに精度が上がる可 能性がある まとめ はやし ゆうすけ 31
32. ロングコンテキストガチ万歳： LLMのやり取りの設計がめちゃ楽 LLMの進化えぐい： 1年前だったらおそらく無理な結果 議事録サービスあるけど結構高い：比較したい フィラー除去は時間がかかる割にそこまで除去されなかった 感想 はやし ゆうすけ 32