非同期処理でLLMにもっと働いてもらおう

イベント: https://connpass.com/event/305220/
コード: https://gist.github.com/zerebom/bc9dce376a9a8f28a32e5c73b425a239#file-async_gradio_app-py-L12

参考資料
解像度を上げる: https://speakerdeck.com/tumada/jie-xiang-du-wogao-meru
リーンキャンバスとは？ 実践的な書き方と考え方【テンプレート付き】: https://sairu.co.jp/method/24846/#:~:text=%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%AD%E3%83%A3%E3%83%B3%E3%83%90%E3%82%B9%EF%BC%88Lean%20Canvas%EF%BC%89%E3%81%A8,%E3%82%B7%E3%83%BC%E3%83%B3%E3%81%A7%E6%B4%BB%E7%94%A8%E3%81%A7%E3%81%8D%E3%81%BE%E3%81%99%E3%80%82

Transcript

1. © commmune Inc. All rights reserved 非同期処理でLLMにもっと働いてもらおう 2024/02/06 2024年バレンタインLT会 AI Shift × Cyber Buzz Kokoro Higuchi
2. © commmune Inc. All rights reserved 自己紹介 樋口 心 Commmune - Data Scientist お仕事 • 機械学習システムの開発（推薦システム...etc） • プロダクト KPIの分析・可視化 • LLM導入のPoC(予定) • (入社して1ヶ月経過) SNS • X (旧 Twitter)：@zerebom_3 Kokoro Higuchi X アイコン 2
3. © commmune Inc. All rights reserved 会社紹介 コミュニティ作りに 特化したプロダクト commmune（コミューン） 営業・CSのアクションを 最速で効率化するプロダクト SuccessHub（サクセスハブ） あらゆる組織とひとが融け合う未来をつくる VISION 3
4. © commmune Inc. All rights reserved LLM便利ですよね. 何でも答えてくれるメンターみたいです 4
5. © commmune Inc. All rights reserved ChatGPTのように、交互に話す形式で使うことが多いと思います 5
6. © commmune Inc. All rights reserved 人間との会話を模倣せず、AIが得意な形で情報処理させたら、さらに能力を引き出せるのでは? 6
7. © commmune Inc. All rights reserved チャットのインターフェースだと気づきにくいけど、実は並列で聞いてもOK 7
8. © commmune Inc. All rights reserved 普通のチャット形式には双方暇な時間が多い 8
9. © commmune Inc. All rights reserved 並列なら、多くの情報をいっぺんに聞ける 9
10. 応用例 ある物事に対して 多角的な観点から考えてもらうアプリ 10
11. © commmune Inc. All rights reserved Demo1: 深さ・広さ・構造・時間の観点から課題の解像度を上げるアプリ 11 参考資料: 解像度を上げる 🔬 - Speaker Deck
12. © commmune Inc. All rights reserved Demo2: リーンキャンバスの項目を全部埋めてくれるアプリ 12 引用元: リーンキャンバスとは？ 実践的な書き方と考え方 【テンプレート付き】 コード https://gist.github.com/zerebom/bc9dce376a9a8f28a 32e5c73b425a239
13. 実装構成・方法 詳しくはブログで...!(後で書きます) 13
14. © commmune Inc. All rights reserved UI: Gradio / 機械学習に特化したアプリ作成ツール。平易な文法で構築・公開可能 14 ref: Gradio
15. © commmune Inc. All rights reserved BackEnd: OpenAI API / gpt3.5にコール. `Stream = True`でストリーミングに対応 15
16. © commmune Inc. All rights reserved 非同期処理: async & await. APIのレスポンスを待たずに非同期で聞く 16
17. © commmune Inc. All rights reserved まとめ 17 • 前提、LLMを活用したチャットツールは普通に使っても便利 • LLMは人間が苦手なマルチタスクが可能。これを活用すればさらに便利になるのでは? • 例としてLLMに、ある物事に対して多角的な観点から考えてもらうアプリを作成した • Gradio / OpenAI API / async & awaitで簡単に 非同期ストリーミング処理アプリが構築可能 (人間が苦手で、LLMが得意なこと、例えば) 非同期処理でLLMにもっと働いてもらおう