Technical Debt in Machine Learning Systems” by Google
2018年
更なる可能性
課題:ModelからTableはまだ繋がらない(e.g., 予測結果を再利用するとリネージが切れる)
対策:現時点でもdbt上でカスタムすれば結合は可能
将来:ロードマップには載っているようなので、将来的に改善される可能性
2025年
SnowflakeもMLOps関連機能を多数発表
各社がMLOps機能を開発・公開し始める
e.g., MLflow(Databricks), SageMaker
現時点の到達点
MLOpsに必要な機能が一通り揃い、リネージも Modelまで繋がるように
1. dbtでRAW層からSTG層やMART層を経てFEATURE層まで管理
2. Feature ViewとDatasetを作成するPythonをStageにDeploy
3. SnowparkのML Pipelineの学習・推論ImageをBuildし、Repositoryにpush
4. TerraformでProcedureとTaskをデプロイ