「あれ、コンテナって何だっけ？」から生まれた Rust で書かれたコンテナランタイム youkiの話@ODC2021

「あれ、コンテナって何だっけ？」  から生まれた Rust で書かれた   コンテナランタイム youkiの話  ODC 2021 08-28 
うたもく(@utam0k)  1

自己紹介  • うたもく(@utam0k)  • 普段はWeb企業のバックエンドエンジニア(Scala)  • 2021年からコンテナ真面目に入門  • containersのメンバー  2

コンテナなんもわからん問題  この辺の話しがよくわからなくて危機感を覚えた  https://thinkit.co.jp/article/18024   3

コンテナ何もわからんので自作を始めた  4

知ってもらいたいこと  コンテナを支える技術   • 周辺技術   • 実際にコンテナを作ってみる    
youkiのこれまでとこれから  • Rustとコンテナランタイム  • youkiの特徴  • 単なる勉強用の自作コンテナランタイムだったyoukiに他の開発者が参戦するまでの経緯    5

目次  1. コンテナランタイムとは？  2. コンテナを作ってみよう  3. youkiの紹介  4. youkiのこれまでとこれから  6

使うもの  • Linux環境を準備してください  ◦ すぐに用意できない方向けにgitpodを用意しました  ◦ gitpod…  ▪ ブラウザで使えるオンラインIDE  ▪
ブラウザでLinuxのコマンドが使えます  ◦ リポジトリのREADMEにgitpodのリンクがあります  • デモのコマンドがあるリポジトリ  ◦ https://github.com/utam0k/container-demo  8

コンテナ?  • プロセス ≒ コンテナ  ◦ 様々なリソースが隔離されたプロセス  プロセス  ファイル達  プロセス 
ファイル達  プロセス  ファイル達  OS 10

隔離？  • chroot(本当はpivot_rootを使う)  ◦ プロセスのルートディレクトリが指す先を変更  • namespace  ◦ プロセスから操作可能なリソースを隔離できる機能  •
cgroup  ◦ プロセスの使用可能なリソースの設定が可能  11

namespace  • 色々な種類のnamespaceがある  ◦ PID namespace  ▪ プロセス群の隔離  ◦ Mount
namespace  ▪ マウントポイントリストの隔離  ◦ UTS namespace  ▪ ホスト名などの隔離  • いまだに色々な種類のnamespaceが増殖中  12

• プロセスのグループを作ってリソースの設定が可能  • 例えば...  ◦ CPU使用時間の制限、割り当てCPUの指定  ◦ デバイスのアクセス制御  ◦ タスクの一時停止/再開 
• リソースの種類に合わせてリソースコントローラがある  cgroup  13

/sys/fs/cgroup  CPU  Memory  Devices  P P P P P P
P P P P 継承  ディレクトリで階層を表現  14

その他セキュリティ的な技術  • capability  ◦ root権限での操作の制限  • seccomp  ◦ システムコールの制限  15

K8sがコンテナを作るまで  16

Kubelet(K8s)  Linuxなど  17

Kubelet(K8s)  Container Runtime  CRI  Linuxなど  CRI − Container Runtime Interface 
18

Kubelet(K8s)  Linuxなど  High-Level Runtime  CRI − Container Runtime Interface  OCI
− Open Container Initiative  CRI  Low-Level Runtime  OCI  19

Kubelet(K8s)  Linuxなど  High-Level Runtime  CRI  Low-Level Runtime  OCI  • runc 
• youki  • crun  20

コンテナなんもわからん問題  この辺の話し側がよくわからなくて危機感を覚えた  https://thinkit.co.jp/article/18024   21

• youki  • crun  22

Kubelet(K8s)  Linuxなど  containerd  runc  OCI  dockershim  CRI  23

Kubelet(K8s)  Linuxなど  containerd  runc  OCI  dockershim  ⚠  CRI  24

どうやって学んだのか  25

コンテナ編まとめ  • コンテナを支える技術  ◦ chrootpace - ルートディレクトリを変更  ◦ namespace -
操作可能なリソースの隔離  ◦ cgroup ace - 使用可能なリソースの設定    • コンテナ界隈を支える仕様  ◦ CRI - Container Runtime Interface  ◦ OCI - Open Container Initiative  26

デモ  https://github.com/utam0k/container-demo  28

知ってもらいたいこと  コンテナを支える技術   • 周辺技術   • 実際にコンテナを作ってみる    
youkiのこれまでとこれから  • Rustとコンテナランタイム  • youkiの特徴  • 単なる自作コンテナだったyoukiに他の開発者が参戦するまでの経緯    29

• youki  • crun    31

• Rust製の低レベルコンテナランタイム  • podmanなどを開発しているcontainersで開発中  ◦ https://github.com/containers/youki  • うたもくを中心にリリースに向けて開発を進めている  • githubで⭐数が1.3K 
• youki = 容器 = コンテナ  youkiとは？  32

youkiの存在意義  • コンテナランタイムの多様性  • コンテナ界隈でのライブラリへの貢献  • Rustが活躍できる分野の拡大  • 既存の低レイヤのソフトウェアをRustで書き換える一例 
33

Rust × コンテナランタイム  󰢐  • 言語的な制約で使いにくいシステムコールがない  • 低レベルとRustコミュニティとの相性が良い  • パフォーマンス 
34

Rust × コンテナランタイム  🤔  • ライブラリなどの資産がない  • Rustコミュニティに知見がない  35

Rust × コンテナランタイムの詳細は  　　　　　9/18のRust.Tokyo 2021で...  36

自作XXが自作とは言えなくなるまで  1. 知りたい分野のソフトウェアを再発明してみる  2. ある程度動くものを公開すると言語公式ツイッターやRedditで注目を集める  – 有益な意見がいっぱい集まる  3. 開発者が集まり、開発パワーを得る 
– good first issueに人がいっぱいくる  – 自分が興味ある分野は他の人も勉強したかったりする  4. 自分はプロジェクトマネジメント的な立ち位置になる  38

• ただのRustで書かれた自作のコンテナランタイム  ◦ 完全に車輪の再発明気分  • うたもくが1人でプライベートリポジトリで遊んでいた  • アーカイブされているoracle/railcarというRust製のコンテナランタイムのコードを参考  •
runtime-toolsという用意されていたコンテナランタイムのインテグレーションテストを用いる  最初のyouki  39

最初の頃の僕に言いたいこと  名前を真面目に考えた方がいいぞ  40

なぜRustだったのか？  • 楽しいからです  • Q. 何か事前調査して採用したんですか？  ◦ この分野に無知すぎて何も調べてません  ◦ まぁRustなら困らんやろくらいには思っていました 
41

現在のちょっと前のyouki  • リポジトリを公開してみる  42

公開した反応  • 国内問わず海外からも反応があった  • そこそこ注目を集め始める  ◦ Redditや言語の公式ツイッターのリツイートで注目を集める  ◦ GitHubのトレンド入り 
43

公開した反応  • 初期の自作アイコンがダサすぎて苦情がくる 😭  初期の酷評された  自作アイコン  issueを立てたら描いて  もらえた現在のイケてるアイコン  44

• 英語で発信できた  • Redditでほとんど全てのコメントに返信していた  • 動くものというインパクト  ◦ わかりやすいgifや画像が用意できる  • Rust 
◦ ちょうどLinuxの話もあったりこのレイヤではホットだった  • 完全なものではなかった  ◦ good first issueをいくつか用意していた  • 運がよかった  今思うとなぜ注目を集めれたか？  45

• お手本の実装がある  ◦ youkiの場合だとruncというお手本があった  ◦ cgroupのリソースコントローラを1つだけ実装しておく  • テストがある  ◦ runtime-toolsがあるためテストを通すという明確なゴールを
設定できた  • コンフリクトが起きないように考慮する  ◦ インターフェイスを区切って渡す  good first issueを作るTips  46

この時の悩み  • うたもく以外の開発者がちょくちょく集まる  ◦ Rustの勉強  ◦ コンテナの勉強  • コントリビュータの方に何か還元できないかな...  47

containersでの開発に移行  48

• コントリビュータの人へ何かできないか...  ◦ 貢献先 → うたもくのリポジトリ  ▪ よくわからないうたもく個人リポジトリへの貢献  ◦ 貢献先
→ containersのリポジトリ  ▪ githubのプロフィールにもちょっと豪華に掲載される  • コンテナ関係の開発経験がある組織の意見が欲しかった  containersでの開発に移行  49

現在のyouki  • 普通に動く、ドキュメントやコメントもそれなり  • コラボレータが6人  ◦ うたもくはコミット数1位から陥落  • github.comからそれなりの数の人が毎日見てくれている  •
rootlessやcgroup v2などそれなりに新しい機能にも追従  • まだファーストリリースはされていない  • コンテナランタイム好きの人にはそれなりに認知されてきた  50

これからのyouki  • リリースする！  • コンテナ界隈に必要なライブラリを増やしていく  • 他がやっていない独自の機能を研究 & 開発していく  ◦
汎用的なコンテナランタイム用のテストツール  ◦ io_uringを用いた非同期処理  • ベンチマークの計測  • 楽しく遊んでいく  51

自作XXが自作とは言えなくなるまで  1. 知りたい分野のソフトウェアを再発明してみる  2. ある程度動くものを公開すると言語公式ツイッターやRedditで注目を集める  – 有益な意見がいっぱい集まる  3. 開発者が集まり、開発パワーを得る 
– good first issueに人がいっぱいくる  – 自分が興味ある分野は他の人も勉強したかったりする  4. 自分はプロジェクトマネジメント的な立ち位置になる  52

Thanks to all the people who already contributed to youki
:)  53

Thanks you! Any questions?  54

「あれ、コンテナって何だっけ？」から生まれた Rust で書かれた コンテナランタイム youkiの話@ODC2021

「あれ、コンテナって何だっけ？」から生まれた Rust で書かれた コンテナランタイム youkiの話@ODC2021

More Decks by うたもく

Other Decks in Technology

Featured

Transcript

「あれ、コンテナって何だっけ？」から生まれた Rust で書かれたコンテナランタイム youkiの話@ODC2021

「あれ、コンテナって何だっけ？」から生まれた Rust で書かれたコンテナランタイム youkiの話@ODC2021