Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

LLMを使ってオンライン会議の議事録を自動生成してみた/forkwell-llm-5-link...

 LLMを使ってオンライン会議の議事録を自動生成してみた/forkwell-llm-5-link-and-motivation

【みんなのLLM活用実践LT編〜エンジニアのためのLLM実践ガイド #5】
リンクアンドモチベーション登壇資料(2023/08/31)

『LLMを使ってオンライン会議の議事録を自動生成してみた』

#Forkwell_LLM #リンクアンドモチベーション #リンモチ
=============================================
【イベント情報】
■イベントページ
 https://forkwell.connpass.com/event/289761/

【株式会社リンクアンドモチベーション】
■お問い合わせ
 [email protected]
■Entrancebook
 https://note.com/lmi/n/n179505e048f4
■テックブログ
 https://link-and-motivation.hatenablog.com/
=============================================

More Decks by リンクアンドモチベーション

Transcript

  1. 3 © Link and Motivation Group 大塚 友章 株式会社リンクアンドモチベーション Developer

    Productivityユニット プラットフォーム推進グループ • 2016年に会計システム開発の会社に新卒入社 • 2022年にリンクアンドモチベーションに中途入社 ◦ モチベーションクラウドシリーズの バックエンド開発、PjMを担当 #筋トレ #映画 #アウトドア #ぎっくり腰 自己紹介
  2. 11 © Link and Motivation Group まずは成果から! 60 分 30

    分 15 分 20 分 (会議中に) 議事録のメモ書き 校正 レビュー&修正 レビュー&修正 合計 125 分!
  3. 12 © Link and Motivation Group まずは成果から! 60 分 30

    分 15 分 20 分 (会議中に) 議事録のメモ書き 校正 レビュー&修正 レビュー&修正 5 分 15 分 5 分 15 分 40分に!
  4. 14 © Link and Motivation Group 議事録が作成されるまで 会議を録画 参加者は議事録を作成したい会議を録画 アプリで選択

    議事録を作成したい会議を選択 アプリで選択 議事録を作成したい会議を選択 アプリで選択 議事録を作成したい会議を選択
  5. 15 © Link and Motivation Group 議事録が作成されるまで 会議を録画 参加者は議事録を作成したい会議を録画 アプリで選択

    議事録を作成したい会議を選択 アプリで選択 議事録を作成したい会議を選択 アプリで選択 議事録を作成したい会議を選択 アプリで選択 アプリで作成された議事録を確認 アプリで選択 議事録を確認
  6. 16 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2.

    録画データの文字起こし 3. 文字起こし結果の要約
  7. 17 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2.

    録画データの文字起こし 3. 文字起こし結果の要約
  8. 18 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2.

    録画データの文字起こし 3. 文字起こし結果の要約
  9. 19 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2.

    録画データの文字起こし 3. 文字起こし結果の要約 Google Workspace アドオンを利用 ※Google Workspace アドオン Gmail、Calendar、Docs、Sheetsの機能や体験を拡張する ためのツールやインテグレーション
  10. 20 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2.

    録画データの文字起こし 3. 文字起こし結果の要約 Whisper APIを利用 ※Whisper OpenAIが開発した自動音声認識 (ASR) システム ライブラリ版 / API版があり、今回はインフラの構築コスト も含めて素早く社内リリースしたかったのでAPI版を採用。
  11. 21 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2.

    録画データの文字起こし 3. 文字起こし結果の要約 ここまでで文字起こしは完了! 以下のような結果が出力される!
  12. 22 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2.

    録画データの文字起こし 3. 文字起こし結果の要約
  13. 23 © Link and Motivation Group 設計全体像 1. ZOOMの録画データ収集 2.

    録画データの文字起こし 3. 文字起こし結果の要約 文字起こしした結果から会議の要約を作 成!
  14. 24 © Link and Motivation Group 議事録要約のまとめかた Google ドキュメント上に右図の通りに出力する! #

    サマリー 1. サマリー 2. 決定事項 3. 宿題事項 # トピックメモ 【トピックのタイトル】 - トピックの要約 【トピックのタイトル】 - トピックの要約 全体サマリー トピックメモ サマリー 決定事項 宿題事項 【タイトル】 - トピック1 【タイトル】 - トピック2
  15. 26 © Link and Motivation Group 議事録のトピックごとの要約をする 分割 全文を適当なチャンクに分割 分割

    分割 文章の意味上の類似度の高いものをまとめる まとめる langchain.text_splitte r トピック1 トピック2 トピック1 トピック3 openai Embedding
  16. 27 © Link and Motivation Group 議事録のトピックごとの要約をする 分割 全文を適当なチャンクに分割 分割

    分割 文章の意味上の類似度の高いものをまとめる まとめる langchain.text_splitte r トピック1 トピック2 トピック1 トピック3 openai Embedding 分割 トピックごとに要約する 要約 トピック1 トピック2 トピック3 要約
  17. 28 © Link and Motivation Group 議事録のトピックごとの要約をする 分割 全文を適当なチャンクに分割 分割

    分割 文章の意味上の類似度の高いものをまとめる まとめる langchain.text_splitte r トピック1 トピック2 トピック1 トピック3 openai Embedding 分割 トピックごとに要約する 要約 トピック1 トピック2 トピック3 要約
  18. 29 © Link and Motivation Group 議事録のトピックごとの要約をする 要約結果をトピックのタイトル、トピックの内容の一覧に整形する トピック1 トピック2

    トピック3 トピックメモ 【タイトル】 - トピック1 【タイトル】 - トピック2 【タイトル】 - トピック3
  19. 31 © Link and Motivation Group 全体のサマリーを作成する ミーティング全体を通したサマリーを以下の形式で作成 全体サマリー サマリー

    決定事項 宿題事項 トピックメモ 【タイトル】 - トピック1 【タイトル】 - トピック2 【タイトル】 - トピック3
  20. 32 © Link and Motivation Group 全体のサマリーを作成する ミーティング全体を通したサマリーを以下の形式で作成 全体サマリー サマリー

    決定事項 宿題事項 トピックメモ 【タイトル】 - トピック1 【タイトル】 - トピック2 【タイトル】 - トピック3
  21. 33 © Link and Motivation Group 最終的な議事録の内容 全体サマリー トピックメモ サマリー

    決定事項 宿題事項 【タイトル】 - トピック2 全体サマリー トピックメモ サマリー 決定事項 宿題事項 【タイトル】 - トピック2 【タイトル】 - トピック2 【タイトル】 - トピック1
  22. 36 © Link and Motivation Group お知らせ • エンジニアリングマネージャー •

    プロダクトマネージャー • テックリード • サーバーサイドエンジニア • フロントエンドエンジニア • SRE • データエンジニア • CRM • UXデザイナー 週1でテックブログ更新しています! まずはカジュアルにお話しましょう! ご連絡お待ちしております! 全職種、積極採用中です!