DeepLearning-Platform-on-Kubernetes

F8f7692cb46c0f7feda5210a46b47bcf?s=47 shogomuranushi
February 01, 2019
880

 DeepLearning-Platform-on-Kubernetes

F8f7692cb46c0f7feda5210a46b47bcf?s=128

shogomuranushi

February 01, 2019
Tweet

Transcript

  1. で機械学習基盤( )を 構築している話

  2. None
  3. 手で作るの辞めよう マネージド最高 って話

  4. None
  5. None
  6. None
  7. None
  8. None
  9. None
  10. None
  11. None
  12. データ 取得 データ 蓄積 データ 確認 教師デー タ作成 モデル 設計

    学 習 評 価 デプロイ 推 論 再学 習 データウェアハウスの 準備と管理 データのバリデーション(正確性)の確認 からのモデル設計 環境の準備と 高度な分散化 データ、モデル、結果のバージョン管理 統計的に本番にデプロイした瞬間か ら精度が下がることを担保 大量データの取得に必要な や負荷分散 の仕組みや準備、セキュリティ担保 教師データの作成に必要なツールと人材の準備 開発環境から本番環境への引き渡し 冗長性や リソースの担保、 エッジ側との連携プロセス構築
  13. データ 取得 データ 蓄積 データ 確認 教師デー タ作成 モデル 設計

    学 習 評 価 デプロイ 推 論 再学 習 データウェアハウスの 準備と管理 データのバリデーション(正確性)の確認 からのモデル設計 環境の準備と 高度な分散化 データ、モデル、結果のバージョン管理 統計的に本番にデプロイした瞬間か ら精度が下がることを担保 大量データの取得に必要な や負荷分散 の仕組みや準備、セキュリティ担保 教師データの作成に必要なツールと人材の準備 開発環境から本番環境への引き渡し 冗長性や リソースの担保、 エッジ側との連携プロセス構築 活用までに数多くの課題が存在
  14. 開発および システムを導入することは比較的高速で安価ですが、時間をかけてそれ を維持することは困難かつ高価である

  15. None
  16. None
  17. None
  18. None
  19. 注意事項 扱う時の苦労話は 年前の状 況 改善状況は後半で

  20. プロビジョニングツールの選定 要件としては を使うため諸々簡単に利用したい をインストール可能(出来れば手間なく) を使いたい(無くても良いけど職人芸は減らしたい) を使いたい(無くても良いけど職人芸は減らしたい) 導入が簡単、高可用性構成が簡単、運用しやすそう 人に依存しないようにわかりやすさ重視

  21. プロビジョニングツールの選定 当時は比較的スタンダードなツール を指定出来ない?既存 に入れるのに工夫が必要、 が利 用できない の九岡さんがメンテナー。 上で扱いやすく、高可用性が簡単に実現で きる ただし

    しか使えなく、 が サポート外。悲しかった
  22. プロビジョニングツールの選定 簡単、 キレイ、わかりやすい、ドキュメントも多い、高可用性は一工夫必要 ただし、( 系で) を数台追加すると 高負荷問題に遭遇、 の オプションが する、

    に対応し ていない? 公式一押しのプロビジョニングツール に関する部分だけが対象範囲。 が動けばいいので、 部分、 や は自分で自由に構成出来る
  23. ただし問題が から リソースを扱うには の設定が必要 公式には手順がない では一貫した情報がない 検索して出てきた の隅っこの方に書いてある設定で出来た

  24. という苦難の末、導入できました

  25. ここ 年の戦い の が高負荷になる のメモリが高負荷になる の の クレジット使い切る がハングする の

    を踏んでリトライが正常に動作しない のバージョンアップ怖い
  26. もうだめだ。マスター管理したくない

  27. None
  28. None
  29. 絶賛 移行中 便利! のイケてない公式手順を楽にしてくれる ただし、スポットインスタンスは扱えない スポットインスタンス扱う場合は が良い 最適化 に 用があるので仕事減った!

    導入・設定済み も 公式手順にある も設定不要 マスター管理不要 (たぶん使いづらいところありそう) でもマスター管理不要 でも、 や も管理してほしい
  30. で悩むところ、聞きたいところ の切り方 と紐付けて組織毎? の依存先に を使い過ぎると の設定が多くなる問題 複数リージョンやマルチクラウドとかになると 爆発しそう 関連 が良いのか、

    が良いのか
  31. 今後やりたいこと

  32. 今後やりたいこと 全体を に 学習部分だけじゃなく、全体を に乗せる。 拡張性低いし辛い マルチクラウド 大人の事情により、 ( )、

    ( )のどちらでも動くように マルチリージョン 海外展開も近いのでマルチリージョン前提 ハイブリッドクラウド というバケモン マシンとクラウドを協調させて、 ワークロードを変動費 から固定費に
  33. 全然、人が足らんぜよ

  34. None
  35. None
  36. None