20250227_OneThing_LT会

Transcript

1. DeepSeekをローカルで使ってみた 2025/02/27 OneThingLT会 筑波大学OneThing　Hayate Aizawa(@nowex35)
2. 自己紹介
3. 名前：相澤 颯(@nowex35) 所属： 筑波大学情報学群情報科学類２年 興味があること： ・統計、機械学習関連 ・システムソフトウェア領域 （もっと勉強したい） 趣味： ・バスケットボール観戦 ・知識を得ること？ {Github,X,IG,note,Qiita}
4. 今回の話題
5. ローカル環境で DeepSeekを動かしたい！！ 個人開発のテスト用途で 従量課金APIにお金 払いたくないな～
6. どうやってローカルで AI を動かすの？
7. →Pythonのライブラリでモデルを 読み込んで実行するだけ！！ （※強めのPCが必要です）
8. ゲームシストオフィスの強めのPC RTX A6000 VRAM 48GB
9. 処理の流れ １．transformerでモデルを読み込む (今回はサーバーエージェントが日本語で追加学習した DeepSeek-R1-Distill-Qwen-14Bを利用) ２．テキストをトークナイズして推論によるテキスト生成 （この時点で出力する機能は含まれてます） ３．FastAPIで実行して、API化する （インターフェースを調整して、他のアプリから POSTリクエストでAPIを叩けるようにします）
10. 実装例
11. 実行
12. 結論
13. 結論 皆さんも是非DeepSeekを使って ローカルのAI APIを作ってみてください！ 興味があれば 詳しく話します！