Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GOの実験環境について

Avatar for Takashi Suzuki Takashi Suzuki
April 01, 2021
Technology
0
19

 GOの実験環境について

2021/04に行われた社内 AI技術勉強会の発表資料

Avatar for Takashi Suzuki

Takashi Suzuki

April 01, 2021
Tweet

More Decks by Takashi Suzuki

See All by Takashi Suzuki
到着予想時間サービスの特徴量のニアリアルタイム化
Avatar for Takashi Suzuki t24kc
0
150
Kubernetes超入門
Avatar for Takashi Suzuki t24kc
0
140
AI予約サービスのMLOps事例紹介
Avatar for Takashi Suzuki t24kc
0
25
MLプロジェクトのリリースフローを考える
Avatar for Takashi Suzuki t24kc
0
14
GOの機械学習システムを支えるMLOps事例紹介
Avatar for Takashi Suzuki t24kc
0
120
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
Avatar for Takashi Suzuki t24kc
0
38
MOVの機械学習システムを支えるMLOps実践
Avatar for Takashi Suzuki t24kc
0
25
タクシー×AIを支えるKubernetesとAIデータパイプラインの信頼性の取り組みについて
Avatar for Takashi Suzuki t24kc
0
42
MOV お客さま探索ナビの GCP ML開発フローについて
Avatar for Takashi Suzuki t24kc
0
17

Other Decks in Technology

See All in Technology
OpenAI gpt-oss ファインチューニング入門
Avatar for kmotohas kmotohas
2
850
BirdCLEF+2025 Noir 5位解法紹介
Avatar for MYSO myso
0
180
Railsアプリケーション開発者のためのブックガイド
Avatar for Masayoshi Takahashi takahashim
14
5.9k
AIが書いたコードをAIが検証する！自律的なモバイルアプリ開発の実現
Avatar for henteko henteko
1
290
Go Conference 2025: GoのinterfaceとGenericsの内部構造と進化 / Go type system internals
Avatar for turbofish ryokotmng
3
590
Sidekiq その前に：Webアプリケーションにおける非同期ジョブ設計原則
Avatar for morihirok morihirok
17
7.1k
Trust as Infrastructure
Avatar for Bryan Cantrill bcantrill
0
280
Goに育てられ開発者向けセキュリティ事業を立ち上げた僕が今向き合う、AI × セキュリティの最前線 / Go Conference 2025
Avatar for GMO Flatt Security flatt_security
0
320
FastAPIの魔法をgRPC/Connect RPCへ
Avatar for MonotaRO monotaro
PRO
1
660
Goのビルドシステムの変遷 / The history of Go's build system
Avatar for ymotongpoo ymotongpoo
12
3.8k
「Verify with Wallet API」を アプリに導入するために
Avatar for hinakko hinakko
1
210
analysis パッケージの仕組みの上でMulti linter with configを実現する / Go Conference 2025
Avatar for Ken’ichiro Oyama k1low
1
260

Featured

See All Featured
Thoughts on Productivity
Avatar for Jon Yablonski jonyablonski
70
4.9k
Dealing with People You Can't Stand - Big Design 2015
Avatar for Cassini Nazir cassininazir
367
27k
Music & Morning Musume
Avatar for Bryan Veloso bryan
46
6.8k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
Avatar for Eileen M. Uchitelle eileencodes
140
34k
VelocityConf: Rendering Performance Case Studies
Avatar for Addy Osmani addyosmani
332
24k
ピンチをチャンスに：未来をつくるプロダクトロードマップ #pmconf2020
Avatar for Aki / @LoveIdahoBurger aki_iinuma
127
53k
Rebuilding a faster, lazier Slack
Avatar for samanthasiow samanthasiow
84
9.2k
Being A Developer After 40
Avatar for Adrian Kosmaczewski akosma
91
590k
Product Roadmaps are Hard
Avatar for C. Todd Lombardo iamctodd
PRO
54
11k
Side Projects
Avatar for Sacha Greif sachag
455
43k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
53
7.8k
The Success of Rails: Ensuring Growth for the Next 100 Years
Avatar for Eileen M. Uchitelle eileencodes
46
7.6k

Transcript

  1. Mobility Technologies Co., Ltd. MLエンジニアリンググループ 鈴木 隆史 GOの実験環境について

  2. Mobility Technologies Co., Ltd. 実サービスで実験環境を利用する際の - セキュリティ要件 - スケール要件 -

    コスト要件 を加味した運用ノウハウを共有します 今日話すこと 2

  3. Mobility Technologies Co., Ltd. 実験環境の要件定義 01 3

  4. Mobility Technologies Co., Ltd. MLシステムにおける実験環境の役割 4 データサイエンティスト BigQuery 探索的データ解析 前処理

    学習 推論 評価

  5. Mobility Technologies Co., Ltd. クラウド実験環境の要望 5 セキュリティ要件 • セキュアなデータへのアクセスのため、権限・証跡を管理したい スケール要件

    • 実験データが肥大化した際、ローカルPCではOOMでも快適に実験したい コスト要件 • 単に強いインスタンスを利用するのではなく、コストも必要最小限に運用した い

  6. Mobility Technologies Co., Ltd. • JupyterHubはユーザごとにJupyter環境を管理するツール • HelmにJupyterHubのパッケージがありカスタム利用可能 • インフラ設定はk8s管理、起動イメージはdocker管理

    • 構築詳細は zero-to-jupyterhub JupyterHubの利用 6

  7. Mobility Technologies Co., Ltd. セキュリティ要件 02 7

  8. Mobility Technologies Co., Ltd. • GCPマネージドSSL証明書を作成しLBで利用 SSL対応 8

  9. Mobility Technologies Co., Ltd. • k8sのIngressのBackendConfigで設定 • Cloud ArmorにはVPNやoffice IPを設定

    IP制限（Cloud Armor） 9

  10. Mobility Technologies Co., Ltd. • IAMロールを持つユーザのみにアクセスを絞れる • Google Groupと連携させることで棚卸しが楽に 個人認証

    Identity-Aware Proxy (IAP) 10

  11. Mobility Technologies Co., Ltd. • 全員一括でdocker+conda env側で管理 • packageの脆弱性 発生時などは一括更新

    python package管理 11

  12. Mobility Technologies Co., Ltd. • 全員一括でdocker側で管理 • 個別に要望があればserverに入れてもらう jupyterlab extension管理

    12

  13. Mobility Technologies Co., Ltd. セキュリティ要件 13 SSL • SSL対応でデータの暗号化 IP制限

    • 社内IPに制限 個人認証 • 特定のロールをもったユーザのホワイトリスト化 package更新 • 脆弱性発生時などには一括で更新

  14. Mobility Technologies Co., Ltd. スケール要件 03 14

  15. Mobility Technologies Co., Ltd. • NFS Serverを別途立て共有用ディレクトリを分離 ディスクの分離 15

  16. Mobility Technologies Co., Ltd. • 通常の実験はNotebook環境で実施 • 個別ユーザに割り当てるデフォルトMemory/CPUを設定 • 最大でノード上限までデータ分析が可能

    通常時のリソース 16

  17. Mobility Technologies Co., Ltd. • k8sのauto scallingを有効にすることで、実験するユーザ数が 増えてもノードインスタンス数が増えて追従 ノードのスケール 17

  18. Mobility Technologies Co., Ltd. • AI Platform Training Jobでマシンタイプ指定して実行 •

    imageをpushする手間はあるが、お手軽に実行可能 ノード上限以上のメモリ要求(1) 18

  19. Mobility Technologies Co., Ltd. • 実験用の外部GKEを指定してJobを実行する方法 • Training Jobよりも細かいインスタンス調整が可能 ノード上限以上のメモリ要求(2)

    19

  20. Mobility Technologies Co., Ltd. ディスクの分離 • 共有用のディスクは分離 ノードのスケール • 実験ノードのメモリ上限まではそのまま利用可能

    • 人数が増えてもノードがスケールして追従 大きいメモリ要求 • 外部GKEやAI Platform Training Jobを利用 • 一度GCRへimageをpushするのがひと手間かかるのがデメリット スケール要件 20

  21. Mobility Technologies Co., Ltd. コスト要件 04 21

  22. Mobility Technologies Co., Ltd. • ノードは2つ設定（常時起動の最小サイズのdefault node、利 用者向けのcostom node(min size:0)）

    ノードの分離 22

  23. Mobility Technologies Co., Ltd. • airflowで21:30にcostom nodeを0にresizeしてコスト削減し、9:30にsize 1に 戻す 夜間/休日スケーリング

    23

  24. Mobility Technologies Co., Ltd. ノードの分離 • 通常起動の最小nodeと、実験向きのnodeに分離 実験ノードのスケール • 利用しない夜間/休日に関しては、実験ノードを0にリサイズ

    コスト要件 24

  25. confidential 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。 Mobility Technologies Co., Ltd. 25