Tweet
Tweet

Slide 1

Slide 1 text

で機械学習基盤（ ）を 構築している話

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

手で作るの辞めよう マネージド最高 って話

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

No content

Slide 6

Slide 6 text

No content

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

No content

Slide 10

Slide 10 text

No content

Slide 11

Slide 11 text

No content

Slide 12

Slide 12 text

データ 取得 データ 蓄積 データ 確認 教師デー タ作成 モデル 設計 学 習 評 価 デプロイ 推 論 再学 習 データウェアハウスの 準備と管理 データのバリデーション（正確性）の確認 からのモデル設計 環境の準備と 高度な分散化 データ、モデル、結果のバージョン管理 統計的に本番にデプロイした瞬間か ら精度が下がることを担保 大量データの取得に必要な や負荷分散 の仕組みや準備、セキュリティ担保 教師データの作成に必要なツールと人材の準備 開発環境から本番環境への引き渡し 冗長性や リソースの担保、 エッジ側との連携プロセス構築

Slide 13

Slide 13 text

データ 取得 データ 蓄積 データ 確認 教師デー タ作成 モデル 設計 学 習 評 価 デプロイ 推 論 再学 習 データウェアハウスの 準備と管理 データのバリデーション（正確性）の確認 からのモデル設計 環境の準備と 高度な分散化 データ、モデル、結果のバージョン管理 統計的に本番にデプロイした瞬間か ら精度が下がることを担保 大量データの取得に必要な や負荷分散 の仕組みや準備、セキュリティ担保 教師データの作成に必要なツールと人材の準備 開発環境から本番環境への引き渡し 冗長性や リソースの担保、 エッジ側との連携プロセス構築 活用までに数多くの課題が存在

Slide 14

Slide 14 text

開発および システムを導入することは比較的高速で安価ですが、時間をかけてそれ を維持することは困難かつ高価である

Slide 15

Slide 15 text

No content

Slide 16

Slide 16 text

No content

Slide 17

Slide 17 text

No content

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

注意事項 扱う時の苦労話は 年前の状 況 改善状況は後半で

Slide 20

Slide 20 text

プロビジョニングツールの選定 要件としては を使うため諸々簡単に利用したい をインストール可能（出来れば手間なく） を使いたい（無くても良いけど職人芸は減らしたい） を使いたい（無くても良いけど職人芸は減らしたい） 導入が簡単、高可用性構成が簡単、運用しやすそう 人に依存しないようにわかりやすさ重視

Slide 21

Slide 21 text

プロビジョニングツールの選定 当時は比較的スタンダードなツール を指定出来ない？既存 に入れるのに工夫が必要、 が利 用できない の九岡さんがメンテナー。 上で扱いやすく、高可用性が簡単に実現で きる ただし しか使えなく、 が サポート外。悲しかった

Slide 22

Slide 22 text

プロビジョニングツールの選定 簡単、 キレイ、わかりやすい、ドキュメントも多い、高可用性は一工夫必要 ただし、（ 系で） を数台追加すると 高負荷問題に遭遇、 の オプションが する、 に対応し ていない？ 公式一押しのプロビジョニングツール に関する部分だけが対象範囲。 が動けばいいので、 部分、 や は自分で自由に構成出来る

Slide 23

Slide 23 text

ただし問題が から リソースを扱うには の設定が必要 公式には手順がない では一貫した情報がない 検索して出てきた の隅っこの方に書いてある設定で出来た

Slide 24

Slide 24 text

という苦難の末、導入できました

Slide 25

Slide 25 text

ここ 年の戦い の が高負荷になる のメモリが高負荷になる の の クレジット使い切る がハングする の を踏んでリトライが正常に動作しない のバージョンアップ怖い

Slide 26

Slide 26 text

もうだめだ。マスター管理したくない

Slide 27

Slide 27 text

No content

Slide 28

Slide 28 text

No content

Slide 29

Slide 29 text

絶賛 移行中 便利！ のイケてない公式手順を楽にしてくれる ただし、スポットインスタンスは扱えない スポットインスタンス扱う場合は が良い 最適化 に 用があるので仕事減った！ 導入・設定済み も 公式手順にある も設定不要 マスター管理不要 （たぶん使いづらいところありそう） でもマスター管理不要 でも、 や も管理してほしい

Slide 30

Slide 30 text

で悩むところ、聞きたいところ の切り方 と紐付けて組織毎？ の依存先に を使い過ぎると の設定が多くなる問題 複数リージョンやマルチクラウドとかになると 爆発しそう 関連 が良いのか、 が良いのか

Slide 31

Slide 31 text

今後やりたいこと

Slide 32

Slide 32 text

今後やりたいこと 全体を に 学習部分だけじゃなく、全体を に乗せる。 拡張性低いし辛い マルチクラウド 大人の事情により、 （ ）、 （ ）のどちらでも動くように マルチリージョン 海外展開も近いのでマルチリージョン前提 ハイブリッドクラウド というバケモン マシンとクラウドを協調させて、 ワークロードを変動費 から固定費に

Slide 33

Slide 33 text

全然、人が足らんぜよ

Slide 34

Slide 34 text

No content

Slide 35

Slide 35 text

No content

Slide 36

Slide 36 text

No content