Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMを使ってオンライン会議の議事録を自動生成してみた/forkwell-llm-5-link-and-motivation

 LLMを使ってオンライン会議の議事録を自動生成してみた/forkwell-llm-5-link-and-motivation

【みんなのLLM活用実践LT編〜エンジニアのためのLLM実践ガイド #5】
リンクアンドモチベーション登壇資料(2023/08/31)

『LLMを使ってオンライン会議の議事録を自動生成してみた』

#Forkwell_LLM #リンクアンドモチベーション #リンモチ
=============================================
【イベント情報】
■イベントページ
 https://forkwell.connpass.com/event/289761/

【株式会社リンクアンドモチベーション】
■お問い合わせ
 [email protected]
■Entrancebook
 https://note.com/lmi/n/n179505e048f4
■テックブログ
 https://link-and-motivation.hatenablog.com/
=============================================

More Decks by リンクアンドモチベーション

Transcript

  1. © Link and Motivation Group
    LLMを使ってオンライン会議の議事録を
    自動生成してみた
    リンクアンドモチベーション
    Developer Productivityユニット
    プラットフォーム推進グループ
    大塚 友章

    View full-size slide

  2. © Link and Motivation Group
    2
    はじめに

    View full-size slide

  3. 3
    © Link and Motivation Group
    大塚 友章
    株式会社リンクアンドモチベーション
    Developer Productivityユニット
    プラットフォーム推進グループ
    ● 2016年に会計システム開発の会社に新卒入社
    ● 2022年にリンクアンドモチベーションに中途入社
    ○ モチベーションクラウドシリーズの
    バックエンド開発、PjMを担当
    #筋トレ
    #映画
    #アウトドア
    #ぎっくり腰
    自己紹介

    View full-size slide

  4. © Link and Motivation Group
    4
    今日お話したいこと

    View full-size slide

  5. 5
    © Link and Motivation Group
    弊社の営業の商談にて...

    View full-size slide

  6. 6
    © Link and Motivation Group
    課題①「議事録係が同行しないといけない...」
    議事録取るの大変...
    営業プレゼン!

    View full-size slide

  7. 7
    © Link and Motivation Group
    課題②「ただの会議内容をメモるだけで、要点がわからない...」
    この会議の要点は何だっけ??
    議事録作った!

    View full-size slide

  8. 8
    © Link and Motivation Group
    tl;dvとかあるけど、いきなり全社で試してみるのハードル高いし、、
    金銭的コストが...
    もう少し早く効果を検証したいし..

    View full-size slide

  9. 9
    © Link and Motivation Group
    tl;dvとかあるけど、いきなり全社で試してみるのハードル高いし、、
    金銭的コストが...
    もう少し早く効果を検証したいし...
    LLMを使ってサクッと解決しよう!

    View full-size slide

  10. © Link and Motivation Group
    10
    LLMで議事録を作成しよう!

    View full-size slide

  11. 11
    © Link and Motivation Group
    まずは成果から!
    60 分 30 分 15 分 20 分
    (会議中に)
    議事録のメモ書き
    校正 レビュー&修正
    レビュー&修正
    合計 125 分!

    View full-size slide

  12. 12
    © Link and Motivation Group
    まずは成果から!
    60 分 30 分 15 分 20 分
    (会議中に)
    議事録のメモ書き
    校正 レビュー&修正
    レビュー&修正
    5
    分 15 分 5

    15 分
    40分に!

    View full-size slide

  13. 13
    © Link and Motivation Group
    議事録が作成されるまで
    会議を録画
    参加者は議事録を作成したい会議を録画

    View full-size slide

  14. 14
    © Link and Motivation Group
    議事録が作成されるまで
    会議を録画
    参加者は議事録を作成したい会議を録画
    アプリで選択
    議事録を作成したい会議を選択
    アプリで選択
    議事録を作成したい会議を選択
    アプリで選択
    議事録を作成したい会議を選択

    View full-size slide

  15. 15
    © Link and Motivation Group
    議事録が作成されるまで
    会議を録画
    参加者は議事録を作成したい会議を録画
    アプリで選択
    議事録を作成したい会議を選択
    アプリで選択
    議事録を作成したい会議を選択
    アプリで選択
    議事録を作成したい会議を選択
    アプリで選択
    アプリで作成された議事録を確認
    アプリで選択
    議事録を確認

    View full-size slide

  16. 16
    © Link and Motivation Group
    設計全体像
    1. ZOOMの録画データ収集
    2. 録画データの文字起こし
    3. 文字起こし結果の要約

    View full-size slide

  17. 17
    © Link and Motivation Group
    設計全体像
    1. ZOOMの録画データ収集
    2. 録画データの文字起こし
    3. 文字起こし結果の要約

    View full-size slide

  18. 18
    © Link and Motivation Group
    設計全体像
    1. ZOOMの録画データ収集
    2. 録画データの文字起こし
    3. 文字起こし結果の要約

    View full-size slide

  19. 19
    © Link and Motivation Group
    設計全体像
    1. ZOOMの録画データ収集
    2. 録画データの文字起こし
    3. 文字起こし結果の要約
    Google Workspace アドオンを利用
    ※Google Workspace アドオン
    Gmail、Calendar、Docs、Sheetsの機能や体験を拡張する
    ためのツールやインテグレーション

    View full-size slide

  20. 20
    © Link and Motivation Group
    設計全体像
    1. ZOOMの録画データ収集
    2. 録画データの文字起こし
    3. 文字起こし結果の要約
    Whisper APIを利用
    ※Whisper
    OpenAIが開発した自動音声認識 (ASR) システム
    ライブラリ版 / API版があり、今回はインフラの構築コスト
    も含めて素早く社内リリースしたかったのでAPI版を採用。

    View full-size slide

  21. 21
    © Link and Motivation Group
    設計全体像
    1. ZOOMの録画データ収集
    2. 録画データの文字起こし
    3. 文字起こし結果の要約
    ここまでで文字起こしは完了!
    以下のような結果が出力される!

    View full-size slide

  22. 22
    © Link and Motivation Group
    設計全体像
    1. ZOOMの録画データ収集
    2. 録画データの文字起こし
    3. 文字起こし結果の要約

    View full-size slide

  23. 23
    © Link and Motivation Group
    設計全体像
    1. ZOOMの録画データ収集
    2. 録画データの文字起こし
    3. 文字起こし結果の要約
    文字起こしした結果から会議の要約を作
    成!

    View full-size slide

  24. 24
    © Link and Motivation Group
    議事録要約のまとめかた
    Google ドキュメント上に右図の通りに出力する!
    # サマリー
    1. サマリー
    2. 決定事項
    3. 宿題事項
    # トピックメモ
    【トピックのタイトル】
    - トピックの要約
    【トピックのタイトル】
    - トピックの要約
    全体サマリー
    トピックメモ
    サマリー
    決定事項
    宿題事項
    【タイトル】
    - トピック1
    【タイトル】
    - トピック2

    View full-size slide

  25. 25
    © Link and Motivation Group
    議事録のトピックごとの要約をする
    分割
    全文を適当なチャンクに分割
    分割
    langchain.text_splitte
    r

    View full-size slide

  26. 26
    © Link and Motivation Group
    議事録のトピックごとの要約をする
    分割
    全文を適当なチャンクに分割
    分割 分割
    文章の意味上の類似度の高いものをまとめる
    まとめる
    langchain.text_splitte
    r
    トピック1
    トピック2
    トピック1
    トピック3
    openai Embedding

    View full-size slide

  27. 27
    © Link and Motivation Group
    議事録のトピックごとの要約をする
    分割
    全文を適当なチャンクに分割
    分割 分割
    文章の意味上の類似度の高いものをまとめる
    まとめる
    langchain.text_splitte
    r
    トピック1
    トピック2
    トピック1
    トピック3
    openai Embedding
    分割
    トピックごとに要約する
    要約
    トピック1
    トピック2
    トピック3
    要約

    View full-size slide

  28. 28
    © Link and Motivation Group
    議事録のトピックごとの要約をする
    分割
    全文を適当なチャンクに分割
    分割 分割
    文章の意味上の類似度の高いものをまとめる
    まとめる
    langchain.text_splitte
    r
    トピック1
    トピック2
    トピック1
    トピック3
    openai Embedding
    分割
    トピックごとに要約する
    要約
    トピック1
    トピック2
    トピック3
    要約

    View full-size slide

  29. 29
    © Link and Motivation Group
    議事録のトピックごとの要約をする
    要約結果をトピックのタイトル、トピックの内容の一覧に整形する
    トピック1
    トピック2
    トピック3
    トピックメモ
    【タイトル】
    - トピック1
    【タイトル】
    - トピック2
    【タイトル】
    - トピック3

    View full-size slide

  30. 30
    © Link and Motivation Group
    全体のサマリーを作成する
    ミーティング全体を通したサマリーを以下の形式で作成
    全体サマリー
    サマリー
    決定事項
    宿題事項

    View full-size slide

  31. 31
    © Link and Motivation Group
    全体のサマリーを作成する
    ミーティング全体を通したサマリーを以下の形式で作成
    全体サマリー
    サマリー
    決定事項
    宿題事項
    トピックメモ
    【タイトル】
    - トピック1
    【タイトル】
    - トピック2
    【タイトル】
    - トピック3

    View full-size slide

  32. 32
    © Link and Motivation Group
    全体のサマリーを作成する
    ミーティング全体を通したサマリーを以下の形式で作成
    全体サマリー
    サマリー
    決定事項
    宿題事項
    トピックメモ
    【タイトル】
    - トピック1
    【タイトル】
    - トピック2
    【タイトル】
    - トピック3

    View full-size slide

  33. 33
    © Link and Motivation Group
    最終的な議事録の内容
    全体サマリー
    トピックメモ
    サマリー
    決定事項
    宿題事項
    【タイトル】
    - トピック2
    全体サマリー
    トピックメモ
    サマリー
    決定事項
    宿題事項
    【タイトル】
    - トピック2
    【タイトル】
    - トピック2
    【タイトル】
    - トピック1

    View full-size slide

  34. © Link and Motivation Group
    34
    さいごに

    View full-size slide

  35. 35
    © Link and Motivation Group
    LLM を使えば
    議事録作成もかんたん!

    View full-size slide

  36. 36
    © Link and Motivation Group
    お知らせ
    ● エンジニアリングマネージャー
    ● プロダクトマネージャー
    ● テックリード
    ● サーバーサイドエンジニア
    ● フロントエンドエンジニア
    ● SRE
    ● データエンジニア
    ● CRM
    ● UXデザイナー
    週1でテックブログ更新しています!
    まずはカジュアルにお話しましょう!
    ご連絡お待ちしております!
    全職種、積極採用中です!

    View full-size slide