LLMを使ってオンライン会議の議事録を自動生成してみた/forkwell-llm-5-link-and-motivation

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

3 © Link and Motivation Group 大塚友章株式会社リンクアンドモチベーション Developer Productivityユニットプラットフォーム推進グループ ● 2016年に会計システム開発の会社に新卒入社 ● 2022年にリンクアンドモチベーションに中途入社 ○ モチベーションクラウドシリーズのバックエンド開発、PjMを担当 #筋トレ #映画 #アウトドア #ぎっくり腰自己紹介

Slide 4

Slide 4 text

Slide 5

Slide 5 text

5 © Link and Motivation Group 弊社の営業の商談にて...

Slide 6

Slide 6 text

6 © Link and Motivation Group 課題①「議事録係が同行しないといけない...」議事録取るの大変... 営業プレゼン！

Slide 7

Slide 7 text

7 © Link and Motivation Group 課題②「ただの会議内容をメモるだけで、要点がわからない...」この会議の要点は何だっけ？？議事録作った！

Slide 8

Slide 8 text

8 © Link and Motivation Group tl;dvとかあるけど、いきなり全社で試してみるのハードル高いし、、金銭的コストが... もう少し早く効果を検証したいし..

Slide 9

Slide 9 text

9 © Link and Motivation Group tl;dvとかあるけど、いきなり全社で試してみるのハードル高いし、、金銭的コストが... もう少し早く効果を検証したいし... LLMを使ってサクッと解決しよう！

Slide 10

Slide 10 text

Slide 11

Slide 11 text

11 © Link and Motivation Group まずは成果から！ 60 分 30 分 15 分 20 分 (会議中に) 議事録のメモ書き校正レビュー＆修正レビュー＆修正合計 125 分！

Slide 12

Slide 12 text

12 © Link and Motivation Group まずは成果から！ 60 分 30 分 15 分 20 分 (会議中に) 議事録のメモ書き校正レビュー＆修正レビュー＆修正 5 分 15 分 5 分 15 分 40分に！

Slide 13

Slide 13 text

13 © Link and Motivation Group 議事録が作成されるまで会議を録画参加者は議事録を作成したい会議を録画

Slide 14

Slide 14 text

14 © Link and Motivation Group 議事録が作成されるまで会議を録画参加者は議事録を作成したい会議を録画アプリで選択議事録を作成したい会議を選択アプリで選択議事録を作成したい会議を選択アプリで選択議事録を作成したい会議を選択

Slide 15

Slide 15 text

15 © Link and Motivation Group 議事録が作成されるまで会議を録画参加者は議事録を作成したい会議を録画アプリで選択議事録を作成したい会議を選択アプリで選択議事録を作成したい会議を選択アプリで選択議事録を作成したい会議を選択アプリで選択アプリで作成された議事録を確認アプリで選択議事録を確認

Slide 16

Slide 16 text

16 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約

Slide 17

Slide 17 text

17 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約

Slide 18

Slide 18 text

18 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約

Slide 19

Slide 19 text

19 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約 Google Workspace アドオンを利用 ※Google Workspace アドオン Gmail、Calendar、Docs、Sheetsの機能や体験を拡張するためのツールやインテグレーション

Slide 20

Slide 20 text

20 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約 Whisper APIを利用 ※Whisper OpenAIが開発した自動音声認識 (ASR) システムライブラリ版 / API版があり、今回はインフラの構築コストも含めて素早く社内リリースしたかったのでAPI版を採用。

Slide 21

Slide 21 text

21 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約ここまでで文字起こしは完了！以下のような結果が出力される！

Slide 22

Slide 22 text

22 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約

Slide 23

Slide 23 text

23 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2. 録画データの文字起こし 3. 文字起こし結果の要約文字起こしした結果から会議の要約を作成！

Slide 24

Slide 24 text

24 © Link and Motivation Group 議事録要約のまとめかた Google ドキュメント上に右図の通りに出力する！ # サマリー 1. サマリー 2. 決定事項 3. 宿題事項 # トピックメモ【トピックのタイトル】 - トピックの要約【トピックのタイトル】 - トピックの要約全体サマリートピックメモサマリー決定事項宿題事項【タイトル】 - トピック1 【タイトル】 - トピック2

Slide 25

Slide 25 text

25 © Link and Motivation Group 議事録のトピックごとの要約をする分割全文を適当なチャンクに分割分割 langchain.text_splitte r

Slide 26

Slide 26 text

26 © Link and Motivation Group 議事録のトピックごとの要約をする分割全文を適当なチャンクに分割分割分割文章の意味上の類似度の高いものをまとめるまとめる langchain.text_splitte r トピック1 トピック2 トピック1 トピック3 openai Embedding

Slide 27

Slide 27 text

27 © Link and Motivation Group 議事録のトピックごとの要約をする分割全文を適当なチャンクに分割分割分割文章の意味上の類似度の高いものをまとめるまとめる langchain.text_splitte r トピック1 トピック2 トピック1 トピック3 openai Embedding 分割トピックごとに要約する要約トピック1 トピック2 トピック3 要約

Slide 28

Slide 28 text

28 © Link and Motivation Group 議事録のトピックごとの要約をする分割全文を適当なチャンクに分割分割分割文章の意味上の類似度の高いものをまとめるまとめる langchain.text_splitte r トピック1 トピック2 トピック1 トピック3 openai Embedding 分割トピックごとに要約する要約トピック1 トピック2 トピック3 要約

Slide 29

Slide 29 text

29 © Link and Motivation Group 議事録のトピックごとの要約をする要約結果をトピックのタイトル、トピックの内容の一覧に整形するトピック1 トピック2 トピック3 トピックメモ【タイトル】 - トピック1 【タイトル】 - トピック2 【タイトル】 - トピック3

Slide 30

Slide 30 text

Slide 31

Slide 31 text

31 © Link and Motivation Group 全体のサマリーを作成するミーティング全体を通したサマリーを以下の形式で作成全体サマリーサマリー決定事項宿題事項トピックメモ【タイトル】 - トピック1 【タイトル】 - トピック2 【タイトル】 - トピック3

Slide 32

Slide 32 text

32 © Link and Motivation Group 全体のサマリーを作成するミーティング全体を通したサマリーを以下の形式で作成全体サマリーサマリー決定事項宿題事項トピックメモ【タイトル】 - トピック1 【タイトル】 - トピック2 【タイトル】 - トピック3

Slide 33

Slide 33 text

33 © Link and Motivation Group 最終的な議事録の内容全体サマリートピックメモサマリー決定事項宿題事項【タイトル】 - トピック2 全体サマリートピックメモサマリー決定事項宿題事項【タイトル】 - トピック2 【タイトル】 - トピック2 【タイトル】 - トピック1

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

36 © Link and Motivation Group お知らせ ● エンジニアリングマネージャー ● プロダクトマネージャー ● テックリード ● サーバーサイドエンジニア ● フロントエンドエンジニア ● SRE ● データエンジニア ● CRM ● UXデザイナー週１でテックブログ更新しています！まずはカジュアルにお話しましょう！ご連絡お待ちしております！全職種、積極採用中です！