Feature StoreをRustで実装した話

Feature Storeと呼ばれる特徴量管理システムをRustで実装した経緯や使ったツールなど知見を紹介します。

Transcript

1. を で実装した話
2. 亀澤諒亮（かめさわりょうすけ） 技術開発部 エッジ 歴 年ぐらい、業務で使い始めて 年 最近作ったもの 上で を実行 「ふつうのコンパイラをつくろう」の 実装 自己紹介
3. 機械学習システムでの特徴量管理のマイクロサービス 大量のデータを扱う 高スループット データサイエンティストが直接読み書き 低レイテンシー 性能を犠牲にしたくないので で実装
4. インターフェース データ（特徴量）ストレージ メタデータストレージ サーバー アーキテクチャ
5. 速度的には問題なし クライアント（ ）がボトルネックに… ツール、ライブラリは？ 環境としては十分揃ってきている 開発コストは？ 低いとは言えない 最初は型 ライフタイムパズルをする羽目に メンテナンスコストは低い を使ったマルチスレッディングでもバグはほぼない で作ってみて
6. 言語非依存な フレームワーク
9. 相性が悪い の持てる参照は基本的に のみ 次のいずれかを予め選ぶ必要がある ごとに 個人的にはできる限り一番上 巨大なデータを取り回したいときのみ他の型 を作る
10. ごとに は非効率 毎回依存関係全てビルドする 依存関係のみビルドキャッシュに入れる