Rust で生成 AI の社内 chatbot をメンテしている話 (LT) - NIFTY Tech Day 2025

2025年2月8日に開催したNIFTY Tech Day 2025の登壇資料です。
https://techday.nifty.co.jp/2025/

登壇者
ニフティ株式会社
statiolake

Transcript

1. バックエンドエンジニア statiolake Rust で 生成 AI の社内 chatbot を メンテしている話 Copyright © NIFTY Corporation All Rights Reserved.
2. こんにちは ▪ statiolake ▪ 2023 年入社（2 年目） ▪ Rust という言語が大好き ▪ プロダクションに導入したい
3. Rust https://www.rust-lang.org/ ▪ パフォーマンス・信頼性・生産性 ▪ 速いで語られがち ▪ 信頼性と生産性もすごくいいよ
4. 生成 AI、 使ってますか？
5. myfriendGPT ▪ Slack で使える生成 AI ▪ 社内情報を入力できる ▪ 作者によるテックブログ ▪ https://engineering.nifty.co.jp/blog/16019 ▪ Python 製でシンプル
6. もっといろいろな 機能が欲しい… 画像を読み取ったりとか
7. エンハンスなら Rust で書きたい…
8. いっそ Rust に 書き換えちゃえば あとは成り行きで…？
9. 刷新しました 自分がメンテナを引き受けて刷新 ▪ Rust + Cargo Lambda で実装 / デプロイ ▪ lambda-runtime & axum ▪ Claude 3.5 Sonnet (Amazon Bedrock) で応答
10. Cargo Lambda https://www.cargo-lambda.info/ ▪ cargo : Rust の公式最強ビルドツール ▪ cargo build 一発で依存解決・ビルドができる ▪ Python でいう Poetry とか Rye ▪ Cargo Lambda : 補助ツール ▪ AWS Lambda 向けにビルド・デプロイできる
11. Rust にしてよかったこと
12. ① ビルドとデプロイが楽！
13. ① ビルドとデプロイが楽！ いままで ▪ Python コード含めて Terraform でデプロイ これから ▪ 成果物は Cargo Lambda でビルド & デプロイ
14. Terraform でインフラだけ作って
15. Cargo Lambda で上書きする $ cargo lambda build $ cargo lambda deploy → デプロイ完了 自動デプロイ (CD) も GitHub Actions で完結、簡単すぎました
16. ② enum が便利すぎる
17. ② Rust の enum が便利すぎる ▪ enum といえば、取りうる値を列挙する型 enum StreamingEventType { Complete, Error, Chunk, }
18. ② enum が便利すぎる ▪ それぞれの選択肢にデータを持てる！ ▪ 生成 AI に送信するデータの構造 enum Content { Text { text: String }, Image { source: ImageSource }, }
19. match 文が便利すぎる ▪ データを取り出しながら分岐する match content { Text { text } => { /* テキストを送信 */ } Image { source } => { /* 画像を送信 */ } }
20. match 文が便利すぎる ▪ データを取り出しながら分岐する match content { Text { text } => { /* テキストを送信 */ } Image { source } => { /* 画像を送信 */ } }
21. ③ コンパイルが通ったら バグらない
22. 画像に対応する前 こうなっていた enum Content { Text { text: String }, }
23. 画像に対応した後 こうした enum Content { Text { text: String }, Image { source: ImageSource }, }
24. エラーを直すだけで… 動いた ▪ 大量のエラーが出る ▪ match 漏れがエラー ▪ 直し怒られを繰り返す ▪ 気づいたら動いてた 画像の出典： https://ja.m.wikipedia.org/wiki/%E3%83%95%E3%8 2%A1%E3%82%A4%E3%83%AB:AyaSofyaelev.jpg
25. まとめ
26. Rust はいいぞ ① ビルドとデプロイが楽！ ② enum が便利すぎる ③ コンパイルが通ったらバグらない 「速い」で語られがちだが 　速くなくても便利な言語 と伝えたい
27. エンハンス、もっとやります ▪ 社内ナレッジを含めた RAG の搭載を画策中 ▪ そこだと「速い」も生きるかも ▪ Rust もどんどん広めていくよ！