eBPFを用いたAIネットワーク監視システム論文の実装 / eBPF Japan Meetup #4

by Yuuki Tsubouchi (yuuk1)

Slide 1

Slide 1 text

@yuuk1t / Yuuki Tsubouchi Ph.D. eBPFを用いたAIネットワーク監視システム論文の実装 eBPF Japan Meetup #4 2025/05/30 さくらインターネット株式会社さくらインターネット研究所

Slide 2

Slide 2 text

௶಺ ༎थ / yuuk1 さくらインターネット研究所京都大学博士（情報学） https://yuuk.io/ 主な研究開発分野 AI for SRE SREͷݚڀऀ ςϨϝτϦʔγεςϜʢϞχλϦϯάɾΦϒβʔόϏϦςΟͳͲʣ 4೥ͿΓʹeBPF΍Γ·ͨ͠ 2

Slide 3

Slide 3 text

: K. Liu, et al., “R-Pingmesh: A Service-Aware RoCE Network Monitoring and Diagnostic System”, SIGCOMM, 2024. IUUQTEPJPSH R-Pingmesh: A Service-Aware RoCE Network Monitoring and Diagnostic System Kefei Liu, Zhuo Jiang, Jiao Zhang, Shixian Guo, Xuan Zhang, Yangyang Bai, Yongbin Dong, Feng Luo, Zhang Zhang, Lei Wang, Xiang Shi, Haohan Xu, Yang Bai, Dongyang Song, Haoran Wei, Bo Li, Yongchen Pan, Tian Pan, Tao Huang ACM SIGCOMM 2024 ๺ژ༣ిେֶ ࢵۚࢁ࣮ݧࣨ %PVZJO7JTJPO$P -UE ஶऀ ॴଐ ձٞ ද୊ URL リファレンス論文の書誌情報 [Liu+,SIGCOMM24] 3

Slide 4

Slide 4 text

アジェンダ 1. R-Pingmeshの紹介 (10分） 2. R-Pingmesh 設計と実装（10分） 3. AIコーディング所感（4分時間なければカット） 4. まとめ（1分） 4 • 研究者として、論文の知を実装する貢献があることを示したい • 本日の文脈では、eBPFはあくまで「部品」であるが、「部品」としての使い方がおもしろいので共有したい • Work In Progress

Slide 5

Slide 5 text

1. R-Pingmeshの紹介 1. R-Pingmeshの紹介 2. R-Pingmesh 設計と実装 3. AIコーディング所感 4. まとめ（1分）

Slide 6

Slide 6 text

AIインフラ分散深層学習基盤 • 「学習」ワークロードには大量の高性能GPUによる「分散学習」が必要。 • 「分散学習」は勾配計算結果をGPU間で同期するための集合通信が必要。高速でロスレスなインターコネクトネットワークが必要 1. R-Pingmeshͷ঺հ さくらインターネットは高火力 PHYなどの GPUサービスを提供 RDMA (In fi niband / RoCE) 6

Slide 7

Slide 7 text

分散学習のプロファイル例計算と通信を交互に繰り返す 7 MLPerf Training GPT-3の事前学習ベンチマーク中に取得したプロファイル Pytorch Pro fi lerの結果をPerfettoで可視化 NT ΠϯλʔίωΫτ௨৴ NT NT NT 1. R-Pingmeshͷ঺հ

Slide 8

Slide 8 text

分散学習は、単一故障に非常に敏感で、全体に波及しやすい（バレル効果） AIインフラの信頼性 [Liu+,SIGCOMM24] 8 ネットワークの問題か？切り分けが難しい ‣ アプリログには集合通信ライブラリ（NCCL）が”error code 12”がみえるが… ‣ 原因は、ホスト側の問題（GPUダウン・ハング・メモリ不足・NCCL誤設定）であることも ‣ フラッピングRNIC・スイッチポート / 損傷または経年劣化したファイバ / 誤設定 1. R-Pingmeshͷ঺հ

Slide 9

Slide 9 text

バレル効果の例 9 1. R-Pingmeshͷ঺հ <-JV 4*($0..>'JHVSF͔Βసࡌ 単一のフラッピング RNIC 単一のフラッピングスイッチポート

Slide 10

Slide 10 text

既存の診断方法 1. ネットワーク構成、ホストとスイッチのログ、異常メトリクスの検査 2. RNIC間のperftest/nccl-testなどのベンチマークツール実行 େن໛ʢ3/*$͕਺ඦ਺ઍҎ্ͳͲʣʹͳΔͱ਍அʹ࣌ؒΛཁ͢Δ ϕϯνϚʔΫ࣮ߦͷͨΊʹɺҰ୴δϣϒΛఀࢭ͠ͳ͚Ε͹ͳΒͳ͍ [Liu+,SIGCOMM24] 10 ↪ΑΓਖ਼֬ʹ3/*$୯ҐͰωοτϫʔΫো֐Λಛఆ͍ͨ͠ ↪ৗ࣌؂ࢹ͢Δํ๏͕๬·͍͠ 3P$&ݻ༗ͷ໰୊Λݕग़͍ͨ͠ 1. R-Pingmeshͷ঺հ ᶃ ᶄ ᶅ

Slide 11

Slide 11 text

R-Pingmesh RNIC to RNICのアクティブプルービングによるRoCEネットワーク監視 11 ③ 継続的なプルービングによるRTT・パケットロスの常時計測 ②RoCEパケットによるプルービング ① サービストラフィックとは独立したRNIC 単位のプルービング Cluster Monitoring 1. R-Pingmeshͷ঺հ

Slide 12

Slide 12 text

R-Pingmesh サービスが使用する経路かをeBPF Kprobeで検出 12 検出した経路に対してプルービング Service Tracing 1. R-Pingmeshͷ঺հ

Slide 13

Slide 13 text

R-Pingmeshのうれしさネットワーク障害の対応優先度を評価できる 13 ༏ઌ౓ ରԠ ݕग़ 1 ཁଈ࣌ରԠ ੑೳϝτϦΫεྼԽͷᮢ஋௒ա $MVTUFS.POJUPSJOH4FSWJDF5SBDJOH ʹΑΔݕग़ 1 ଈ࣌ରԠ͢Δ͔ཁ൑அ ੑೳϝτϦΫεྼԽͷᮢ஋ະຬ $MVTUFS.POJUPSJOH4FSWJDF5SBDJOH ʹΑΔݕग़ 1 αʔϏεӨڹͳ͠ɻҟৗ ػثͷཁ෼཭ɾमཧ $MVTUFS.POJUPSJOHͷΈʹΑΔݕग़ 学習ジョブの学習率や平均 NWスループットなどを監視 1. R-Pingmeshͷ঺հ これはまさにSREのアプローチ

Slide 14

Slide 14 text

R-Pingmeshのうれしさその他 • RNICの組み合わせ数の削減 • フルメッシュプルーピングはToR内でのみに限定し、ToR間は式(1)に従ってランダムにプルービングする • Tracerouteの経路データと突き合わせて、単純な投票メカニズムで異常なリンクと異常スイッチの特定する 14 𝑘 ͸શͯͷ5P3·ͨ͗ϦϯΫΛΧόʔ͢ΔͨΊͷ UVQMFͷݸ਺ɻ 𝑁 ͸5P3·ͨ͗ύεͷ਺ɻ 𝑃 ͸&$.1ʹج͍ͮͯ 𝑘 ݸͷλϓϧ͕ 𝑁 ݸύεΛΧ όʔͰ͖Δ֬཰ɻ 1. R-Pingmeshͷ঺հ ຊ ೔ ͸ ε Ω ο ϓ

Slide 15

Slide 15 text

2. R-Pingmesh 設計と実装の紹介 1. R-Pingmeshの紹介 2. R-Pingmesh 設計と実装 3. AIコーディング所感 4. まとめ

Slide 16

Slide 16 text

R-Pingmeshのシステム全体像 16 <-JV 4*($0..>'JHVSF31JOHNFTI'SBNFXPSLΛجʹվมͯ͠ܝࡌ 1. Agentが登録処理 2. ControllerからPinglistが届く 3. PinglistからProberがプルーブを送信 4. RTTなどを記録しAnalyzerへ 1. eBPFでサービスジョブの通信の5-tupleを監視 2. 専用のPinglistへ追加 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ

Slide 17

Slide 17 text

yuuki/rpingmeshの技術スタック 17 • 言語：Go • RoCE通信：libibverbs • eBPF Kprobe, cillium/ebpf • 要素間通信：gRPC • Registry: Rqlite • 計装：OpenTelemetry 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ

Slide 18

Slide 18 text

成果物 18 IUUQTHJUIVCDPNZVVLJSQJOHNFTI IUUQTHJUIVCDPNZVVLJHPJCWVEQJOHQPOH ෭੒Ռ෺ 3P$&ͷ6%QJOHQPOHπʔϧ 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ

Slide 19

Slide 19 text

Grafanaダッシュボードの例マトリクス表示 19 &4/&5.BUSJY1BOFM1MVHJO ࣮૷্ͷ໰୊Ͱ·ͩ؂ࢹ Ͱ͖͍ͯͳ͍3/*$ͷ૊ Έ߹Θͤ͋Γ %TU 3/*$T 4SD3/*$T 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ

Slide 20

Slide 20 text

• ローカルのRNICごとに、Responder 用のgoroutineを起動 • ProberはPinglistから対象を選び、あえて逐次的にProbe送信 • （ratelimitパッケージで対象ごとのレート制限） • Responderは他のProbeから並行して受信するので並行処理が必要 • Queue Pair（ソケットのようなもの）をProberとResponderごとに作成 Cluster Monitoringの実装 RoCE通信の多対多Ping 20 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ

Slide 21

Slide 21 text

• GPU Direct RDMAでは、CPUを介さず転送される => カーネルのeBPFは使えないはず？ • 接続開始点と終了点についてはカーネルで実行されるため、それらをトレース • modify_qp と destory_qp を kprobe でフックし、5タプルを取得する • GID（IPv6アドレス）の取得は構造体の深い読み取りが必要になる Service Tracingの実装 21 TUSVDUJC@RQ TUSVDUJC@EFWJDF TUSVDUJC@QPSU@EBUB<> JC@HJE@UBCMF@FOUSZ VOJPOJC@HJE TUSVDUJC@HJE@UBCMF SBX<>@@V 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ

Slide 22

Slide 22 text

Service Tracing実装上の問題点 CO-RE（Compile Once - Run Everywhere）を使いにくい • ビルドインされていないカーネルモジュールはBTFつきでコンパイルされていないことがある（Nvidia Mellanoxなど） • BTF有効で再コンパイルし、モジュールを要リロード 22 ˞IUUQTMPSFLFSOFMPSHCQGHJU!CSZDFLBIMFDPN 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ ˞ • BTFがvmlinuxには含まれないので、分割BTFを使う • 分割BTFの最小化（bpftool — base_btf gen min_core_bpf）は未サポート

Slide 23

Slide 23 text

苦労話 Ib verbs（UD型）はユーザー管理資源が多い 23 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ ߲໨ #4%ιέοτ JCWFSCT ઀ଓϞσϧ ιέοτੜ੒ˠCJOE ˠ 6%1઀ଓෆཁʗ5$1DPOOFDU 1SPUFDUJPO%PNBJOʢ1%ʣɾ$PNQMFUJPO2VFVF ʢ$2ʣɾ2VFVF1BJSʢ21ʣΛੜ੒ Ѽઌࢦఆ TFOEUP TPDL CVG MFO TPDLBEES ֤Ѽઌ͝ͱʹ"EESFTT)BOEMFʢ")ʣΛ࡞੒͠ɺ TFOE@XSBIͱTFOE@XSSFNPUF@RQOͰࢦఆ ૹड৴ ݺͼग़͠ TFOE SFDW ɺTFOEUP SFDWGSPN JCW@QPTU@TFOE ʗJCW@QPTU@SFDW Ͱ8PSL 3FRVFTUΛ౤ߘ ϝϞϦ؅ཧ ΧʔωϧόοϑΝܦ༝ ϢʔβۭؒόοϑΝʢ.3ʣΛJCW@SFH@NS Ͱొ࿥ ׬ྃ௨஌ ϒϩοΩϯάʗϊϯϒϩοΩϯάʗ TFMFDUʗFQPMM $2ΛϙʔϦϯάʢJCW@QPMM@DR ʣ·ͨ͸Πϕϯτۦ ಈͰ௨஌ ৴པੑɾॱং 5$1͸৴པɾॱংอূɺ6%1͸ඇ อূ 6%ʢ6OSFMJBCMFʣͳͷͰύέοτϩε΍ॱংೖସ ͋ΓɻΞϓϦଆͰ੍ޚ͕ඞཁ

Slide 24

Slide 24 text

苦労話 Ib verbsサンプルコードが少ない 24 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ • libibverbsに付属する ud_pingpong.c (900 行弱)あたりを読む • １対１通信でリソース競合などが起きない前提のコード • 多対多通信するものはないか？ • NVidiaのnccl（集合通信lib）はあるが、通信種別がUDではなくRC ˞IUUQTHJUIVCDPNMJOVYSENBSENBDPSFCMPCNBTUFSMJCJCWFSCTFYBNQMFTVE@QJOHQPOHD ˞

Slide 25

Slide 25 text

苦労話 Ib verbs難しい問題 25 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ GIDとしてIPv4-mapped Addressで通信するときの問題 • 通常、カーネルがRoCEパケットの冒頭に40バイト（IPv6ヘッダ）挿入 • IPv4-mappedだと前半20バイト0、後半20バイト分IPv4ヘッダを挿入 • 仕様には書いてないはず？ • カーネルのコードに書いてある… ˞ IUUQTFMJYJSCPPUMJODPNMJOVYWTPVSDFJODMVEFSENBJC@WFSCTI- ˞ struct ib_grh ibgrh; struct { /* The IB spec states that if it's IPv4, the header * is located in the last 20 bytes of the header. */ u8 reserved[20]; struct iphdr roce4grh; };

Slide 26

Slide 26 text

苦労話 ACKパケットのロスト問題 26 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ • 問題：バッファ上書きによるACKパケット化けが発生 • 並行に動く受信呼び出し処理が受信バッファの同じアドレスを参照していた • 解決：長い受信バッファをスロット分割 • 受信要求キュー(WR)ごとに独立したN x (バッファサイズ)のバッファを用意 • 受信要求キューID (WRID)にスロット番号をいれることでトレース可能に ʜ 4MPU 4MPU 4MPU 3FDW#V ff FS 4MPU

Slide 27

Slide 27 text

3. AIコーディング所感 1. R-Pingmeshの紹介 2. R-Pingmesh 設計と実装 3. AIコーディング所感 4. まとめ（1分）

Slide 28

Slide 28 text

使用したAIコーディングツール基本はCursorを使用 28 3. AIίʔσΟϯάॴײ Ϟσϧ໊ ࢖͍ํ΍ॴײ $MBVEF4POOFU ॳظ࣮૷΍ϦϑΝΫλϦϯάʹ࢖༻ɻ (FNJOJ1SP1SFWJFX ίʔυϕʔε͕େ͖͘ͳ͔ͬͯΒৗ༻ɻίετͱ଎౓ɺੑೳόϥ ϯε͕ྑ͍͕͓͠Ό΂ΓͰઆ໌จ͕௕͍ɻ 0QFO"*P ෳࡶͳσόοά࣌ʹଞͷϞσϧʹ͸ͳ͍ಎ࡯Λఏڙͯ͘͠ΕΔɻ ඇৗʹߴֹͳͷͰͧ͜͜ͱ͍͏ͱ͖ʹɻ $MBVEF4POOFU ϦϦʔε͞Ε͔ͯΒৗ༻ɻ ίʔυͷ࣭͕΄͔ΑΓߴ͘ɺ3VMFT΁ͷ௥ैੑ΋ߴ͍ɻ (FNJOJ'MBTI 'SFFNPEFMͳͷͰ؆୯ͳจॻ΍ϝοηʔδੜ੒ͳͲ 4FMFDUJOH.PEFMTIUUQTEPDTDVSTPSDPNHVJEFTTFMFDUJOHNPEFMT

Slide 29

Slide 29 text

AIコーディングの手順 • 論文を全文読ませて、実装するための設計書を作るよう指示した • その際に、使いたい技術スタック（Go 言語、gRPC、Rqliteなど）は指示した • できあがった設計書を読み込ませて、コンポーネント（agent, controller）ごとの大きな粒度で実装するように指示した • それっぽいものができあがるが、低レイヤ部分や複雑なロジックは大幅に簡略化されてしまった • 動かない部分を発見し、逐次AIに指示してロジックの追加やデバッグを行った 29 3. AIίʔσΟϯάॴײ ˞IUUQTHJUIVCDPNZVVLJSQJOHNFTICMPCNBJODVSTPSSVMFTEFTJHONED ˞

Slide 30

Slide 30 text

AIコーディング良かったところ実装や問題解決速度は明らかに向上する • スコープが十分小さいタスクではyuuk1がやるより圧倒的に早く質も十分 • Controllerは一般的なWebアプリに近いので特に直すことも少なかった • RqliteのようなややニッチなDBでも、ドキュメントを渡せば十分 • 複雑なデバッグへ対応できることがある • ログ（zerolog.Trace/.Debug）の追加をしてくれ、そのログo3/o4-mini に渡すとyuuk1になかった原因分析と解決策を提案 30 3. AIίʔσΟϯάॴײ

Slide 31

Slide 31 text

AIコーディング悪かったところ予想外の省略や決め打ちによるバグの発生 • 初期実装では、簡略化されていることに気づかず、あとでバグの温床になった • 初期実装でも、タスクを十分スコープを小さくして指示者がコードを認知できるようにする訓練が必要そう • 勝手にロジックを変えられていたり、簡略されることがある • タスクついでのリファクタはしてくれず、アドホックにコード追加しがち • 単一責任原則に従ってリファクタしてくれと言えば、一定レベルではやってくれる • 意味のないテストコードが量産されることもある • 構造体オブジェクトを作成し、そのフィールド値をチェックするだけ 31 3. AIίʔσΟϯάॴײ

Slide 32

Slide 32 text

eBPFのコーディング • 深く構造体にアクセスするロジックは、デバッグ時に実装を勝手に省略しがち • GIDの読み取りを諦めてしまう • 初期実装では、関連する構造体定義を渡せばそれっぽくは書いてくれる • C bpfコードからBpftraceスクリプトへの変換時に、C 言語の知識が混在してコンパイルエラーが多発する • bpftrace(8) Manual Page（4000+ 行）を渡しても同じ • もっと単純なデバッグ用スクリプトなら問題なかった 32 3. AIίʔσΟϯάॴײ

Slide 33

Slide 33 text

RDMAのコーディング • モデルがRDMAやib verbsの知識は持っている or 探せる • Ib verbsの拡張APIのような例の少ないものは、ドキュメントを与える必要あり 33 3. AIίʔσΟϯάॴײ

Slide 34

Slide 34 text

自律型ツール（Devin/Codex/OpenHands/…）実行環境の用意が難しいソフトウェアには不向き • RDMAやeBPF Kprobeなどはサンドボックス環境で実行するのが難しい • Software RoCEなどはあるのでVMでがんばればできるかも • テストがまともに書けないため、AIが試行錯誤できない • 結局リバートすることになる 34 3. AIίʔσΟϯάॴײ

Slide 35

Slide 35 text

4. まとめ 1. R-Pingmeshの紹介 2. R-Pingmesh 設計と実装 3. AIコーディング所感（4分時間なければカット） 4. まとめ（1分）

Slide 36

Slide 36 text

まとめ • RNIC単位でメッシュ状にPingを打ち合うRoCEネットワーク監視システムR- Pingmeshを実装している • eBPFは実際にサービス使用中の通信を検出するために使う • 一般には、トレーシングの結果を直接に計測値として収集することが多い • AIコーディングは、Webアプリ以外のソフトウェアでも有用と感じた。 • 特に論文実装では、論文を読み込ませ、すぐに実装に移れる • AIが自律的に動作検証を行えない状況では、Vibe Codingまでは不可 4. ·ͱΊ 36 ʢ࿦จςΩετ΋͋Δ͠ɺ"*΋͋Δ͠ɺQJOH౤͛Δ͚ͩ ͔ͩΒ؆୯Ͱ͸ʂʁͦ͏ࢥ͍ͬͯͨ࣌ظ΋͋Γ·ͨ͠ʣ

Slide 37

Slide 37 text

今後 • 実装を成熟させ、社内のクラスタ環境に展開したい • 運用中だけなく、検証期間中に動かしても有用かもしれない • R-pingmeshから得られたテレメトリーデータをAIOpsに活用したい 4. ·ͱΊ 37

Slide 38

Slide 38 text

IUUQTTQFBLFSEFDLDPNZVVLJUJOUSPEVDUJPOUPTSFQBQFSTGPSFOHJOFFST 38 4. ·ͱΊ 論文を読んで実装しよう！ (SRE NEXT 2023)

Slide 39

Slide 39 text

さくらインターネット関連資料 SONiC Workshop Japan 2025 IUUQTTQFBLFSEFDLDPNTPOJDTPOJDEFHPV[IVZVO ZPOHTVSVTIFOHDIFOHBJYJBOH LFQBCVSJUVLVLVSBVEPOFUVUPXBLV IUUQTTQFBLFSEFDLDPNTPOJD TVJUVUJOPCNDUVLBUVUFNBTVLB 39 4. ·ͱΊ

Slide 40

Slide 40 text

A. 付録

Slide 41

Slide 41 text

R-Pingmeshの後世論文における位置付け <%POH /4%*>&WPMVUJPOPG"FHJT'BVMU%JBHOPTJTGPS"*.PEFM5SBJOJOH4FSWJDFJO1SPEVDUJPO 41

Slide 42

Slide 42 text

RTTの計測方法 RTT = ネットワークRTT + Prober処理遅延 + Responder処理遅延 42 ProberとResponder間の時刻ずれを考慮する NW RTT = (⑤-②) - (④-③) Prober Delay = (⑥-①) - (⑤-②) ACK2（④を含む）を送信 HWλΠϜ ελϯϓ Responder Delay = ④-③ 要点：同一ホスト上でのみ時刻を差分計算する 2. R-Pingmesh ઃܭͱ࣮૷ͷ঺հ

Slide 43

Slide 43 text

RoCEパケットフォーマット 43 IUUQTFOUFSQSJTFTVQQPSUOWJEJBDPNTBSUJDMFSPDFW DPOTJEFSBUJPOTKJWF@DPOUFOU@JE@8IBU@JT@UIF@3P$&@7@QBDLFU@GPSNBU