Max out Local LLM in Challenging Environments

エンジニア達の「完全に理解した」Talk　#52 で登壇したときのスライドです。
https://easy2.connpass.com/event/312501/

1. ここまで使えるローカルLLM さしみもち 弱小環境でも 💪 2024/4/30 【オンライン】エンジニア達の「完全に理解した」Talk #52
2. 自己紹介 2 さしみもち @Sashimimochi343 普段は年間数十億件のトラフィック がある検索システムの開発・運用や データ分析基盤の運用をしてます。 最近は、検索エンジンとLLMの連携 でなんかおもしろいことができない か日夜研究しています。
3. 3 世は空前の第4次AIブーム https://speakerdeck.com/pfn/llmnoxian-zai?slide=14
4. 富めるものだけが開発できる世界？ 4 GPT-4 APIは値段が... セキュリティ的に 許可が下りない... 申請が通るまで時 間がかかる Rate Limitが...
5. 富めるものだけが開発できる世界？ 5 クラウド借りる費用 もないし... APIじゃないとシステム に組み込みづらいし... GPUがあるわけ じゃないし... あきらめるしかないの？
6. 弱小環境でも なんとかなります！ 6 大丈夫！！
7. 想定マシンスペック 7 CPU 6 Core (Ryzen) Memory 16GB ※2 Core (Intel Core i5), Memory 8GB でも頑張れば動くことも確認しています 標準的なスペックのノートPCがあれば動かせる！！
8. その他前提条件 8 使用するモデル お話ししないこと • Quality • パフォーマンス • コスパ • Calm2-chat-7b • llava-v1.5-7b 素だと16GB程度のGPUが必要なモデル
9. 弱小環境の強い味方！その名も「量子化」 9 量子化によってCPUだけでも動かせるようになる！ イメージ：厳密さは捨ててざっくり計算するようにする ex. 円周率πはだいたい3で良いじゃんね！？ https://laboro.ai/activity/column/engineer/%e3%83%87%e3%82%a3%e3%83%bc%e3%83%97%e3%83%a9%e3%83%bc%e3%83%8b%e3%83%b3%e3%82%b0%e 3%82%92%e8%bb%bd%e9%87%8f%e5%8c%96%e3%81%99%e3%82%8b%e3%83%a2%e3%83%87%e3%83%ab%e5%9c%a7%e7%b8%ae/
10. おすすめの量子化ライブラリ 10 https://github.com/ggerganov/llama.cpp https://github.com/abetlen/llama-cpp-python LLMをローカルからクラウドまで幅広い環境で簡単かつベストパフォーマンスで 動かせることを目指したC++製のツール
11. できること１：マルチターンチャット 11 https://github.com/Sashimimochi/llm-chat-playbook できます！
12. できること２：RAG 12 できます！ https://github.com/Sashimimochi/llm-chat-playbook
13. できること３：Function Calling 13 https://github.com/Sashimimochi/llm-chat-playbook https://zenn.dev/kazuwombat/articles/1f39f003298028 より できます！
14. できること４：Vision and Language 14 https://github.com/Sashimimochi/llava-python-sample https://llava-vl.github.io/llava-interactive/ より できます！
15. 15 そのほかにも https://qiita.com/SH2/items/1d5ee5b898046ff89458 より https://qiita.com/moritalous/items/76ba9f2ad200df335d07 より GitHub Copilot Like なツール チャットのトレースやメトリクスを収 集できるツール できます！
16. 量子化モデルがない？自分ですればいいじゃない！ 16 https://github.com/Sashimimochi/llm-quantize-sample できます！
17. もっと知りたい方は 17 https://zenn.dev/sashimimochi/articles/be1122c813d989 https://zenn.dev/sashimimochi/articles/29d78fadaf8b17
18. 詳細は来月の技術書典16 で出すかも 18
19. まとめ 19 • 量子化モデルを使えばノートPCでも動かせる • メジャーな機能がサポートされたAPI完備 • オフラインでも稼働するローカルモデルならではの強み これでセキュリティやお金はLLM組み込みシステムを開発 しない理由にはならなくなりましたね 😁
20. APPENDIX 20
21. 参考文献 21 • 横須賀市役所の「ChatGPT実用化実験」の実施内容まとめ ◦ https://bocek.co.jp/media/news/1498/ • “生成AI”全国の自治体で約9割が導入 業務の作業時間が平均3分の1に短縮の事例も ◦ https://news.tv-asahi.co.jp/news_society/articles/000343740.html • 生成AIカオスマップ 国内向けサービスを初公開！掲載数は258製品！ ◦ https://aismiley.co.jp/ai_news/generativeai-chaosmap/ • 国産LLMに期待する企業は7割以上、MM総研が生成AIの利活用を調査 ◦ https://xtech.nikkei.com/atcl/nxt/news/24/00459/ • 緊急パネル：ChatGPTで自然言語処理は終わるのか？ ◦ https://www.anlp.jp/nlp2023/#special_panel
22. 参考文献 22 • 言語処理学会第30回年次大会（NLP2024）併設ワークショップ 自治体における生成 AI（ChatGPT）の利活用と問題点 ◦ https://broccoli-farm.jp/workshop-nlp2024/ • ELYZAとKDDIグループ、生成AIの社会実装に向け資本業務提携を締結 ◦ https://news.kddi.com/kddi/corporate/newsrelease/2024/03/18/7333.html • AI Shift、カスタマーサポートに特化した各企業専用LLM構築サービスを提供開始 ◦ https://www.cyberagent.co.jp/news/detail/id=28841 • オフラインでも使えるAIチャットアプリ、ローカルLLMパッケージの販売を開始 ◦ https://prtimes.jp/main/html/rd/p/000000027.000065047.html • 日本語LLM 9種を量子化して回答内容を比較調査してみた ◦ https://qiita.com/wayama_ryousuke/items/50e36d0dcb37f8fb7dd8
23. 素材集 23 • ぱくたそ ◦ https://www.pakutaso.com/
24. ローカルモデルとSaaSモデルのどっちを使う？ 24 https://jedworkshop.github.io/JLR2024/materials/b-1.pdf
25. もちろん、有償サービスにはそれだけの価値がある 25 • お金がかかるだけのことはある • 作り込むなら買った方が安いかも • ローカルLLMにくらべて適当なプロンプトでもよしなに解釈して くれる