Upgrade to Pro — share decks privately, control downloads, hide ads and more …

アプリのコンテナ化と排他制御 ~ データ 破壊 だ ﾖ 全員集合

842515eaf8fbb2dfcc75197e7797dc15?s=47 Satoru Takeuchi
November 30, 2020
Technology
5
6.3k

アプリのコンテナ化と排他制御 ~ データ 破壊 だ ﾖ 全員集合

Kubernetes Meetup Tokyo #36のLT資料です。
https://k8sjp.connpass.com/event/196212/

842515eaf8fbb2dfcc75197e7797dc15?s=128

Satoru Takeuchi

November 30, 2020
Tweet

More Decks by Satoru Takeuchi

See All by Satoru Takeuchi
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
180
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
2
270
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
27
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
17
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
1
3.5k
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
13
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
1
260
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
120
842515eaf8fbb2dfcc75197e7797dc15?s=48 sat
0
180

Other Decks in Technology

See All in Technology
01c581e230dd588a5c9b7a8c243c4f43?s=48 u1nakayama
0
370
C58d9fc209cfdc0b822f851911110fa6?s=48 coe
4
360
84cfa5aa96405be9af4874ba266785af?s=48 giancosta86
1
160
E163ae0588e154424d78e17672076ef4?s=48 kosugitti
3
450
1ec68e792f99c958b8ffbd0aadaa182a?s=48 ikkou
0
210
3ac512f1cbab89f8671ff4718f23d150?s=48 takewell
0
260
73c9d1065e0075a9da6e404e08fe77fb?s=48 siroitori0413
0
140
F1f3e75b74890a8689878a88873378a9?s=48 inayamafumitaka
0
100
38aff0f87502c6aef87e6eca03742403?s=48 fire_fire_2
1
220
8625dbdd61cc3f8c55da6ee323b5e4ce?s=48 twingob
1
190
2cf373725ded741824c50fd571eda6e1?s=48 udzura
0
100
6dc67d02d6b322ee317cece9b045317d?s=48 kalupas226
2
180

Featured

See All Featured
E76911cbe088e5b850d966de3fc7435b?s=48 robhawkes
55
3k
Eb8975af8e49e19e3dd6b6b84a542e26?s=48 qrush
288
19k
39488f9d172ab92fd352f2cd7b73258d?s=48 mza
82
4.4k
1f74b13f1e5c6c69cb5d7fbaabb1e2cb?s=48 sferik
612
56k
C44e1f7e22c3f23cff7bc130871047ef?s=48 eileencodes
118
26k
1177e050db6bafe62885362edf6e3537?s=48 lauravandoore
17
2.1k
D09fad3e36ae6841f54820be0e907f7a?s=48 rocio
156
12k
3d4519fd34b76fb265fc0237f3792bd4?s=48 danielanewman
6
740
C0390e8b11079f8761c0cd3274ed61cb?s=48 productmarketing
11
1.1k
B83d5b590577969ee79a5ad845411a7d?s=48 ammeep
660
54k
91cefdf141106fa10674aae74ce05890?s=48 yeseniaperezcruz
306
32k
465724d73fe3a92c0879fdfb43a3a6f3?s=48 philhawksworth
196
17k

Transcript

  1. アプリのコンテナ化と排他制御 ~ データ破壊だﾖ!全員集合 Nov 30, 2020 sat@サイボウズ 1

  2. 前置き ▌アプリのコンテナ化は罠だらけ ▌本セッションは排他制御にまつわる罠を紹介 ▌実例として最近検出したRook/Ceph(後述)の データ破壊問題を紹介 2

  3. Cephとは ▌OSSの分散ストレージシステム ▌データはOSDという領域に保存 ⚫OSDはクラスタ内のディスク上に作成 ⚫Ceph-osdというdaemonがOSD上のデータを読み書き ▌各データは全OSDにおおむね均等に分散配置 3 node0 node1 HDD

    HDD HDD HDD OSD OSD OSD OSD

  4. データ書き込み時の挙動 4 node0 node1 Cephクライアント HDD HDD HDD HDD OSD

    OSD OSD OSD data0

  5. データ書き込み時の挙動 5 node0 node1 Cephクライアント HDD HDD HDD HDD OSD

    OSD OSD OSD data1 data0

  6. データ書き込み時の挙動 6 node0 node1 Cephクライアント HDD HDD HDD HDD OSD

    OSD OSD OSD data1 data2 data0

  7. データ書き込み時の挙動 7 node0 node1 Cephクライアント HDD HDD HDD HDD OSD

    OSD OSD OSD data1 data2 data0 data3

  8. Rookとは ▌K8s上で動作するCephのオーケストレーション ▌1つのOSDに対して1つPodが存在 8 node OSD Pod OSD Pod HDD

    HDD OSD OSD ceph-osd ceph-osd 操作 操作

  9. OSD Podの管理方法 ▌諸事情によりStatefulSetではなくDeploymentsを使用 ▌ceph-osdには二重起動を避ける仕組みが存在 ⚫/var/lib/ceph/osd/ceph-<OSD ID>以下のファイルでロック 9 HDD OSD ceph-osd

    A ceph-osd B ロック ceph-osd Aにロックを取られているのでアクセス不可

  10. OSDのdeployment 10 … containers: … command: - ceph-osd volumeMounts: -

    mountPath: /var/lib/ceph/osd/ceph-0 name: set1-data-0-xfvdg-bridge subPath: ceph-0 …

  11. OSDのdeployment 11 … containers: … command: - ceph-osd volumeMounts: -

    mountPath: /var/lib/ceph/osd/ceph-0 name: set1-data-0-xfvdg-bridge subPath: ceph-0 … volumes: … - emptyDir: medium: Memory name: set1-data-0-xfvdg-bridge … コンテナごとに別々の ロックファイルを作るよ！

  12. OSDのdeployment 12 … containers: … command: - ceph-osd volumeMounts: -

    mountPath: /var/lib/ceph/osd/ceph-0 name: set1-data-0-xfvdg-bridge subPath: ceph-0 … volumes: … - emptyDir: medium: Memory name: set1-data-0-xfvdg-bridge … もしOSD Podが二重起動すると OSDがブッ壊れるよ！

  13. 問題が発生するシナリオの例 1. OSD Pod AがOSDを操作 13 OSD Pod A HDD

    OSD ceph-osd ロック A

  14. 問題が発生するシナリオの例 1. OSD Pod AがOSDを操作 2. OSD Pod Aがeviction対象になり”Terminating”に。Ceph-osdはまだ動作中 14

    OSD Pod A HDD OSD ceph-osd ロック A Terminating

  15. 問題が発生するシナリオの例 1. OSD Pod AがOSDを操作 2. OSD Pod Aがeviction対象になり”Terminating”に。Ceph-osdはまだ動作中 3.

    新しいOSD Pod Bが同じノードにスケジュールされる 15 OSD Pod A HDD OSD ceph-osd ロック A OSD Pod B ceph-osd Terminating

  16. 問題が発生するシナリオの例 1. OSD Pod AがOSDを操作 2. OSD Pod Aがeviction対象になり”Terminating”に。Ceph-osdはまだ動作中 3.

    新しいOSD Pod Bが同じノードにスケジュールされる 4. 2つのceph-osdが同じOSDを操作、OSDが壊れる ⚫ それぞれ別ファイルをロックしているので排他制御は機能しない 16 OSD Pod A HDD OSD ceph-osd ロック A OSD Pod B ceph-osd Terminating ロック B

  17. 検出経緯 1. OSD Podが存在するノードが慢性的なメモリ不足になっていた 17 node プロセス プロセス プロセス HDD

    OSD Ceph-osd メモリが足りませんよ

  18. 検出経緯 1. OSD Podが存在するノードが慢性的なメモリ不足になっていた 2. 偶然前述の問題の再現試験のような状況になった ⚫ OOM killerによるプロセスの殺戮 ⚫

    Kubeletによるプロセスの再生成 ⚫ メモリ不足によるPod eviction 18 node プロセス OOM Killer なかなかメモリが空かないなあ 殺戮 プロセス プロセス Podをスケジュールしなきゃ & 追い出さなきゃ 再生成 kubelet HDD OSD Ceph-osd

  19. 検出経緯 1. OSD Podが存在するノードが慢性的なメモリ不足になっていた 2. 偶然前述の問題の再現試験のような状況になった ⚫ OOM killerによるプロセスの殺戮 ⚫

    Kubeletによるプロセスの再生成 ⚫ メモリ不足によるPod eviction 3. OSD Podが二重起動。死 19 node プロセス OOM Killer なかなかメモリが空かないなあ 殺戮 プロセス プロセス 再生成 kubelet HDD OSD Ceph-osd Ceph-osd Podをスケジュールしなきゃ & 追い出さなきゃ

  20. 検出してから現在までの流れ 1. CephコミュニティとRookコミュニティに報告 ⚫https://tracker.ceph.com/issues/48036 ⚫https://github.com/rook/rook/issues/6530 2. OSDのログから複数ceph-osdの動作を検出 3. Rookで問題が起きうることを確認 4.

    現在はRookの修正検討中 20

  21. まとめ ▌StatefulワークロードにはなるべくStatefulSetを使う ▌アプリのコンテナ化ではロックファイルの共有忘れに注意 ⚫ステートレスワークロードでも起こりうる ▌Rookの問題は今後修正予定 ▌OOM killerは優秀なデバッグツール 21