Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GOの実験環境について

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for Takashi Suzuki Takashi Suzuki
April 01, 2021
Technology
43
0

 GOの実験環境について

2021/04に行われた社内 AI技術勉強会の発表資料

Avatar for Takashi Suzuki

Takashi Suzuki

April 01, 2021

More Decks by Takashi Suzuki

See All by Takashi Suzuki
到着予想時間サービスの特徴量のニアリアルタイム化
Avatar for Takashi Suzuki t24kc
0
200
Kubernetes超入門
Avatar for Takashi Suzuki t24kc
0
240
AI予約サービスのMLOps事例紹介
Avatar for Takashi Suzuki t24kc
0
44
MLプロジェクトのリリースフローを考える
Avatar for Takashi Suzuki t24kc
0
24
GOの機械学習システムを支えるMLOps事例紹介
Avatar for Takashi Suzuki t24kc
0
160
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
Avatar for Takashi Suzuki t24kc
0
56
MOVの機械学習システムを支えるMLOps実践
Avatar for Takashi Suzuki t24kc
0
48
タクシー×AIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて
Avatar for Takashi Suzuki t24kc
0
56
MOV お客さま探索ナビの GCP ML開発フローについて
Avatar for Takashi Suzuki t24kc
0
29

Other Decks in Technology

See All in Technology
protovalidate-es を導入してみた
Avatar for 弁護士ドットコム bengo4com
0
160
ITエンジニアを取り巻く環境とキャリアパス / A career path for Japanese IT engineers
Avatar for 高玉 広和 / TAKATAMA Hirokazu takatama
4
1.8k
Agentic ERPをどう設計するか ー 受発注エージェントを動かす、現場の知見と設計思想ー
Avatar for 株式会社リチェルカ recerqainc
1
1.9k
Chart.js が簡単に使えるようになっていたので OGP 画像生成に使った話
Avatar for すずとも kamekyame
0
170
2026.06.13_AI時代に事業会社が「SIer出身エンジニア」を求める理由 / Why Businesses Seek Engineers with a System Integrator Background in the AI ​​Era
Avatar for jumpei_ikegami jumtech
0
920
Platform Engineering as a Product: Criteria for Improvement and Multi-Tenant Design
Avatar for Kumo Ishikawa kumorn5s
0
530
「コーディング」しない人のための Claude Code 入門　ChatGPT の次の一歩 — 業務に組み込む 育成・共有・自動化
Avatar for ふくだ（fukuda ryu） rfdnxbro
2
1.2k
EventBridge Connection
Avatar for kensh _kensh
5
660
Terraformモジュールは、なぜ「魔境」化するのか
Avatar for hayama hayama17
2
220
BigQuery の Cross-cloud Lakehouse への歩み
Avatar for Tomonori Hayashi / ぴーはや phaya72
2
610
AIを「創る」と「使う」の循環 — HRテックが実践するリアルなAI組織実装
Avatar for Taketo Sasaki taketo957
0
1.8k
製造業のクラウド活用最適解〜AI，DXを加速するデータ基盤の作り方〜
Avatar for 濱田孝治 hamadakoji
0
420

Featured

See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
Avatar for Vitaly Friedman smashingmag
254
22k
16th Malabo Montpellier Forum Presentation
Avatar for AKADEMIYA2063 akademiya2063
PRO
0
140
Producing Creativity
Avatar for Steve Smith orderedlist
PRO
348
40k
Building Applications with DynamoDB
Avatar for Matt Wood mza
96
7.1k
How To Speak Unicorn (iThemes Webinar)
Avatar for Michelle Schulp Hunt marktimemedia
1
480
The State of eCommerce SEO: How to Win in Today's Products SERPs - #SEOweek
Avatar for Aleyda Solis aleyda
2
11k
Marketing Yourself as an Engineer | Alaka | Gurzu
Avatar for Gurzu gurzu
0
210
Color Theory Basics | Prateek | Gurzu
Avatar for Gurzu gurzu
0
360
Why Your Marketing Sucks and What You Can Do About It - Sophie Logan
Avatar for Sophie Logan marketingsoph
0
160
Future Trends and Review - Lecture 12 - Web Technologies (1019888BNR)
Avatar for Beat Signer signer
PRO
0
3.6k
Amusing Abliteration
Avatar for ianozsvald ianozsvald
1
200
Agile Actions for Facilitating Distributed Teams - ADO2019
Avatar for Mark Kilby mkilby
0
200

Transcript

  1. Mobility Technologies Co., Ltd. MLエンジニアリンググループ 鈴木 隆史 GOの実験環境について

  2. Mobility Technologies Co., Ltd. 実サービスで実験環境を利用する際の - セキュリティ要件 - スケール要件 -

    コスト要件 を加味した運用ノウハウを共有します 今日話すこと 2

  3. Mobility Technologies Co., Ltd. 実験環境の要件定義 01 3

  4. Mobility Technologies Co., Ltd. MLシステムにおける実験環境の役割 4 データサイエンティスト BigQuery 探索的データ解析 前処理

    学習 推論 評価

  5. Mobility Technologies Co., Ltd. クラウド実験環境の要望 5 セキュリティ要件 • セキュアなデータへのアクセスのため、権限・証跡を管理したい スケール要件

    • 実験データが肥大化した際、ローカルPCではOOMでも快適に実験したい コスト要件 • 単に強いインスタンスを利用するのではなく、コストも必要最小限に運用した い

  6. Mobility Technologies Co., Ltd. • JupyterHubはユーザごとにJupyter環境を管理するツール • HelmにJupyterHubのパッケージがありカスタム利用可能 • インフラ設定はk8s管理、起動イメージはdocker管理

    • 構築詳細は zero-to-jupyterhub JupyterHubの利用 6

  7. Mobility Technologies Co., Ltd. セキュリティ要件 02 7

  8. Mobility Technologies Co., Ltd. • GCPマネージドSSL証明書を作成しLBで利用 SSL対応 8

  9. Mobility Technologies Co., Ltd. • k8sのIngressのBackendConfigで設定 • Cloud ArmorにはVPNやoffice IPを設定

    IP制限（Cloud Armor） 9

  10. Mobility Technologies Co., Ltd. • IAMロールを持つユーザのみにアクセスを絞れる • Google Groupと連携させることで棚卸しが楽に 個人認証

    Identity-Aware Proxy (IAP) 10

  11. Mobility Technologies Co., Ltd. • 全員一括でdocker+conda env側で管理 • packageの脆弱性 発生時などは一括更新

    python package管理 11

  12. Mobility Technologies Co., Ltd. • 全員一括でdocker側で管理 • 個別に要望があればserverに入れてもらう jupyterlab extension管理

    12

  13. Mobility Technologies Co., Ltd. セキュリティ要件 13 SSL • SSL対応でデータの暗号化 IP制限

    • 社内IPに制限 個人認証 • 特定のロールをもったユーザのホワイトリスト化 package更新 • 脆弱性発生時などには一括で更新

  14. Mobility Technologies Co., Ltd. スケール要件 03 14

  15. Mobility Technologies Co., Ltd. • NFS Serverを別途立て共有用ディレクトリを分離 ディスクの分離 15

  16. Mobility Technologies Co., Ltd. • 通常の実験はNotebook環境で実施 • 個別ユーザに割り当てるデフォルトMemory/CPUを設定 • 最大でノード上限までデータ分析が可能

    通常時のリソース 16

  17. Mobility Technologies Co., Ltd. • k8sのauto scallingを有効にすることで、実験するユーザ数が 増えてもノードインスタンス数が増えて追従 ノードのスケール 17

  18. Mobility Technologies Co., Ltd. • AI Platform Training Jobでマシンタイプ指定して実行 •

    imageをpushする手間はあるが、お手軽に実行可能 ノード上限以上のメモリ要求(1) 18

  19. Mobility Technologies Co., Ltd. • 実験用の外部GKEを指定してJobを実行する方法 • Training Jobよりも細かいインスタンス調整が可能 ノード上限以上のメモリ要求(2)

    19

  20. Mobility Technologies Co., Ltd. ディスクの分離 • 共有用のディスクは分離 ノードのスケール • 実験ノードのメモリ上限まではそのまま利用可能

    • 人数が増えてもノードがスケールして追従 大きいメモリ要求 • 外部GKEやAI Platform Training Jobを利用 • 一度GCRへimageをpushするのがひと手間かかるのがデメリット スケール要件 20

  21. Mobility Technologies Co., Ltd. コスト要件 04 21

  22. Mobility Technologies Co., Ltd. • ノードは2つ設定（常時起動の最小サイズのdefault node、利 用者向けのcostom node(min size:0)）

    ノードの分離 22

  23. Mobility Technologies Co., Ltd. • airflowで21:30にcostom nodeを0にresizeしてコスト削減し、9:30にsize 1に 戻す 夜間/休日スケーリング

    23

  24. Mobility Technologies Co., Ltd. ノードの分離 • 通常起動の最小nodeと、実験向きのnodeに分離 実験ノードのスケール • 利用しない夜間/休日に関しては、実験ノードを0にリサイズ

    コスト要件 24

  25. confidential 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。 Mobility Technologies Co., Ltd. 25