SREが考えるハイブリッド開催の技術イベントのライブ配信における信頼性

by Naoki Katahira

Slide 1

Slide 1 text

1 SREが考えるハイブリッド開催の技術イベントのライブ配信における信頼性 GMOペパボ⽚平直輝 / yuchi SRE NEXT 2024 2024.08.04

Slide 2

Slide 2 text

2 アジェンダ 1. はじめに 2. ⾃⼰紹介 3. 担当サービス紹介 4. 「ハイブリッド開催の技術イベントのライブ配信」とは 5. SREプラクティスをライブ配信オペレーションに適⽤できるものが多い 6. 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 7. どうやって「信頼性」「可⽤性」を上げていったのか 8. まとめ

Slide 3

Slide 3 text

3 はじめに • 技術イベントのライブ配信を信頼性や可⽤性の軸で改善した話 • ライブ配信技術全般話すことこんな⼈に向けて喋ります • 技術イベントに関わってる⼈ / これから始めたい⼈ • 技術イベントのライブ配信を⾒るのが好きな⼈ / 良く⾒てる⼈

Slide 4

Slide 4 text

4 ⾃⼰紹介技術部プラットフォームグループ 2022年新卒⼊社⽚平直輝 Katahira Naoki GMOペパボで主にカラーミーショップを担当しているSRE。趣味が多い。⾃作キーボード(Lily58)、DJ、VJ、配信(と機材)、etc… ● Link: yuchi.io ● Twitter (現X): @F_YUUCHI

Slide 5

Slide 5 text

GMOペパボについて 5

Slide 6

Slide 6 text

担当サービス紹介 6 ● 国内最⼤級のECサイト構築サービス ● 2005年にサービス開始 ○ 現在のショップ数は約4万店舗 ○ 流通総額は年間約2000億円カラーミーショップ

Slide 7

Slide 7 text

SREをやってきて得たプラクティスを趣味のライブ配信に落とし込んでる 7

Slide 8

Slide 8 text

「ハイブリッド開催の技術イベント」のライブ配信とは 8

Slide 9

Slide 9 text

ハイブリッド開催の技術イベントのライブ配信とは 9 ● リアルの会場に登壇者とお客さんが居る状態で発表が⾏われている ● その様⼦がインターネットでライブ配信されている ● SRE NEXT 2024も今回話す「ハイブリッド開催の技術イベント」に該当するハイブリッド開催の技術イベントの定義

Slide 10

Slide 10 text

ハイブリッド開催の技術イベントのライブ配信とは 10 ● Road to SRE NEXT@福岡 ● GMOペパボ主催「SREまつり」シリーズ ○ Pepabo Tech Conference #21 夏のSREまつり ○ Pepabo Tech Conference #22 春のSREまつり 2024 ● ⾃作キーボードコミュニティ ○ 天下⼀キーボードわいわい会 ○ キー部 ● etc… ハイブリッド開催技術イベントで配信を⾏ってきた

Slide 11

Slide 11 text

SREプラクティスをライブ配信オペレーションに適⽤できるものが多い 11

Slide 12

Slide 12 text

SREプラクティスをライブ配信オペレーションに適⽤できるものが多い 12 ● 信頼性 ○ 常にコンテンツ(Webサービス / ライブ配信)を提供できる状態を作る ■ サイトが落ちない / 配信が⽌まらない ● 可⽤性 ○ ダウンタイムを最⼩限にするための構成を作る ■ 冗⻑化、フェイルオーバーなど ● モニタリング ○ 安定してコンテンツを提供できているかをモニタリングする仕組みがある

Slide 13

Slide 13 text

「信頼性」「可⽤性」がないライブ配信はどうなるのか？ 13

Slide 14

Slide 14 text

14 配信が途切れる！！！！！！

Slide 15

Slide 15 text

過去にこの状態を起こしたことがある 15

Slide 16

Slide 16 text

何が起こったか 16

Slide 17

Slide 17 text

配信ソフトがクラッシュ編 17

Slide 18

Slide 18 text

(配信中) 「この設定を少し変えないとな...(ｶﾁｶﾁ)」 18

Slide 19

Slide 19 text

あっ... 19

Slide 20

Slide 20 text

配信ソフトが消えて突然のデスクトップ背景！！！！ 20

Slide 21

Slide 21 text

Slide 22

Slide 22 text

⾎の気の引く感じ⼤量の冷や汗動悸 22

Slide 23

Slide 23 text

もちろん配信は⽌まってしまった 23

Slide 24

Slide 24 text

まだある 24

Slide 25

Slide 25 text

ネットワークが安定しない編 25

Slide 26

Slide 26 text

「有線で繋いでるはずなのにやけにネットワークが安定しないなあ...」 26

Slide 27

Slide 27 text

LANアダプタを⾒るとアクセスランプが⼀切光っていない 27

Slide 28

Slide 28 text

Slide 29

Slide 29 text

LANアダプタがちゃんと認識していなかった 29

Slide 30

Slide 30 text

これらは配信始めたての頃にやったやらかしシリーズ 30

Slide 31

Slide 31 text

⼤反省 31

Slide 32

Slide 32 text

じゃあ何でこんなことが起こるの 32

Slide 33

Slide 33 text

「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 33

Slide 34

Slide 34 text

34 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 34 ● それぞれ来場者/視聴者が居るので⼀⽅の品質を落とすわけにはいかない ● 映像機器や⾳響機器の使い⽅理解して操作できる⼈は思っているよりも少ない ○ 1⼈オペレーション(ワンオペ)または限られた⼈数で配信を⾏いがちハイブリッド開催の技術イベントのライブ配信は難しい

Slide 35

Slide 35 text

35 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 35 配信をやるためのリスト ● 準備‧⽚付け ● 映像のスイッチング(切り替え) ● カメラの画⾓調整 ● 配信⽤の⾳量バランス ● 配信の死活監視ハイブリッド開催の技術イベントのライブ配信は難しい

Slide 36

Slide 36 text

「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 36 配信要件と会場に合わせた配信システムの構成図を作る配信準備

Slide 37

Slide 37 text

「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 37 短い時間で⾊々準備がある • 三脚‧カメラ設置 • カメラ画⾓調整 • ⼤量の配線 • マイクチェック • 会場/配信⾳声チェック • 配信リハーサル • etc… 配信準備/⽚付け

Slide 38

Slide 38 text

「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 38 ● 配信開始 ● 登壇者が変わるタイミングで映像の切り替え ● テロップ変更 ● 配信終了 ● 放送事故を防ぐための蓋画映像の切り替え(スイッチング)

Slide 39

Slide 39 text

「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 39 最初の準備を終えて配信開始後も「結構動きながら喋ってるからカメラの画⾓を調整しておこう」などカメラの画⾓調整

Slide 40

Slide 40 text

「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 40 会場のスピーカーから出す⾳とは別に、配信で⾒ている環境(イヤホン,スピーカー)で聞きやすい⾳を作ることを意識している配信⽤の⾳量バランス

Slide 41

Slide 41 text

「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 41 配信を開始しても、ネットワークの調⼦が悪くなったりする可能性定期的に監視しておく必要がある配信の死活監視

Slide 42

Slide 42 text

42 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 42 カメラの画⾓調整「動きながら喋ってるのでカメラの画⾓を少し変えておく」など配信⽤の⾳量バランス会場のスピーカーから出す⾳と別に、配信で想定される環境 (イヤホン,スピーカー)で聞きやすい⾳を作る配信準備/⽚付け配信の死活監視映像のスイッチング限られた準備時間で配線‧配置‧リハーサルを⾏って配信ができる状態を作る「正常に配信ができているか」を常に⾒守る開始/終了、登壇者が変わるタイミングで映像の切り替えやテロップ変更をする

Slide 43

Slide 43 text

43 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 43 カメラの画⾓調整「動きながら喋ってるのでカメラの画⾓を少し変えておく」など配信⽤の⾳量バランス会場のスピーカーから出す⾳と別に、配信で想定される環境 (イヤホン,スピーカー)で聞きやすい⾳を作る配信準備/⽚付け配信の死活監視映像のスイッチング限られた準備時間で配線‧配置‧リハーサルを⾏って配信ができる状態を作る「正常に配信ができているか」を常に⾒守る開始/終了、登壇者が変わるタイミングで映像の切り替えやテロップ変更をする (⾃分の場合) これらをほぼ1⼈でやることが多い

Slide 44

Slide 44 text

44 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 44 カメラの画⾓調整「動きながら喋ってるのでカメラの画⾓を少し変えておく」など配信⽤の⾳量バランス会場のスピーカーから出す⾳と別に、配信で想定される環境 (イヤホン,スピーカー)で聞きやすい⾳を作る配信準備/⽚付け配信の死活監視映像のスイッチング限られた準備時間で配線‧配置‧リハーサルを⾏って配信ができる状態を作る「正常に配信ができているか」を常に⾒守る開始/終了、登壇者が変わるタイミングで映像の切り替えやテロップ変更をする (⾃分の場合) これらをほぼ1⼈でやることが多い⼈間の頭は1個だし、腕は2本しか無い！！！！！

Slide 45

Slide 45 text

どうやって「信頼性」「可⽤性」を上げていったのか 45

Slide 46

Slide 46 text

どうやって「信頼性」「可⽤性」を上げていったのか 46 現場ごとに⼤⼩かかわらず何かしらミスが付き物現場が終わるごとにポストモーテム(振り返り)を書く

Slide 47

Slide 47 text

47 ● パソコンで配信するのをやめました ○ なんでもできるが... ○ 周辺機器との相性問題 ○ 他のソフトとのリソースの奪い合いが発⽣しうる配信ソフトの使⽤をやめるどうやって「信頼性」「可⽤性」を上げていったのか

Slide 48

Slide 48 text

48 https://www.blackmagicdesign.com/jp/store/record-capture-playback/streaming-encoding/W-WPR-02 https://www.blackmagicdesign.com/jp/store/atem-live-production/live-production-switchers/W-APS-2 https://www.blackmagicdesign.com/jp/store/record-capture-playback/recording-disk-storage/W-HYD-11 どうやって「信頼性」「可⽤性」を上げていったのか

Slide 49

Slide 49 text

ボタンがいっぱい付いてるし光るし超かっこいい！！！！！！！ 49

Slide 50

Slide 50 text

50 ● 放送業界や配信専⾨業者が使うようなメーカーの機械 ● 業務⽤クラスの安定性と信頼性 ○ 導⼊後は「配信が完全に⽌まる」という問題は0になった配信ソフトの使⽤をやめて専⽤の機材の導⼊ https://www.blackmagicdesign.com/jp/store/record-capture-playback/streaming-encoding/W-WPR-02 https://www.blackmagicdesign.com/jp/store/atem-live-production/live-production-switchers/W-APS-26 https://www.blackmagicdesign.com/jp/store/record-capture-playback/recording-disk-storage/W-HYD-11 どうやって「信頼性」「可⽤性」を上げていったのか

Slide 51

Slide 51 text

「信頼性」「可⽤性」向上のための機能が盛り込まれている 51

Slide 52

Slide 52 text

52 https://www.blackmagicdesign.com/jp/products/hyperdeckstudio どうやって「信頼性」「可⽤性」を上げていったのか

Slide 53

Slide 53 text

“オンエアを途切れさせない冗⻑性！” 世界で⼀番好きな⾔葉です！！！ 53

Slide 54

Slide 54 text

”サービスを⽌めさせない冗⻑性” をSREは作ってる 54

Slide 55

Slide 55 text

55 他にもクリティカルなトラブルも起こり得る ● ケーブルを忘れる ● 現場で機材同⼠の接続がうまくいかない ● 会場のネットワークが安定しない機材導⼊だけでは解決しない問題もある https://www.blackmagicdesign.com/jp/store/record-capture-playback/streaming-encoding/W-WPR-02 https://www.blackmagicdesign.com/jp/store/atem-live-production/live-production-switchers/W-APS-26 https://www.blackmagicdesign.com/jp/store/record-capture-playback/recording-disk-storage/W-HYD-11 どうやって「信頼性」「可⽤性」を上げていったのか

Slide 56

Slide 56 text

56 ● 前⽇に想定した構成で配信テストを⾏っている ● バラし(ケーブル抜いて元の状態にする)→荷物を詰める→現地で設営 ○ これが⼤変 ● 「前⽇この構成で動いたのに...」「昨⽇テストで使ったケーブル⼊れ忘れた...」というのがよくあるケーブルを忘れる/機材同⼠の接続がうまくいかないどうやって「信頼性」「可⽤性」を上げていったのか

Slide 57

Slide 57 text

57 「コンテナ化」という考えがある

Slide 58

Slide 58 text

58 ● ラックサーバーと同じく19インチラック規格のケースマウントできる ● 箱の中に必要な機材を取り付けと配線をすれば「配信機材コンテナ」の完成 ● 電源を差せば必要なコンポーネントが⼀気に全部⽴ち上がる業務⽤機材なのでラックマウントができるどうやって「信頼性」「可⽤性」を上げていったのか

Slide 59

Slide 59 text

実質docker compose up 59

Slide 60

Slide 60 text

60 ● 現場でカメラ、マイク⾳声、インターネット etc…を繋ぐだけ ● 即配信が⾏える状態を作れた ● テスト後のバラし最低限で済む ○ 「前⽇この構成で動いたのに...」というのが格段に減った業務⽤機材なのでラックマウントができるどうやって「信頼性」「可⽤性」を上げていったのか

Slide 61

Slide 61 text

ネットワークが安定しない場合は？ 61

Slide 62

Slide 62 text

62 配信状態を⾒ながら、「ネットワークがヤバい」となったらエンコーダにスマートフォンを接続してテザリングをONにすればモバイル回線で配信が⾏えるネットワークが安定しない https://www.blackmagicdesign.com/jp/products/blackmagicwebpresenter どうやって「信頼性」「可⽤性」を上げていったのか

Slide 63

Slide 63 text

63 ● 配信⽤ソフトだとステータスの表⽰が⼩さい ● 現在の値しか⾒ることができない配信ステータスのモニタリングどうやって「信頼性」「可⽤性」を上げていったのか

Slide 64

Slide 64 text

64 どうやって「信頼性」「可⽤性」を上げていったのか

Slide 65

Slide 65 text

モニタリング環境が本当に良くない 65

Slide 66

Slide 66 text

どうやって「信頼性」「可⽤性」を上げていったのか 66 ● 専⽤機材でモニタリングも改善できた ● 機材が⽤意しているステータス画⾯を使える配信ステータス監視

Slide 67

Slide 67 text

67 どうやって「信頼性」「可⽤性」を上げていったのか https://www.blackmagicdesign.com/jp/products/blackmagicwebpresenter

Slide 68

Slide 68 text

68 どうやって「信頼性」「可⽤性」を上げていったのか

Slide 69

Slide 69 text

69 どうやって「信頼性」「可⽤性」を上げていったのか

Slide 70

Slide 70 text

topコマンドから Grafana等のメトリクスツールに変わったぐらいの変化 70

Slide 71

Slide 71 text

71 • お⼿伝いしてもらう⼈にも分かりやすくして属⼈化を減らす配信ステータス監視どうやって「信頼性」「可⽤性」を上げていったのか

Slide 72

Slide 72 text

最⾼の可観測性 72

Slide 73

Slide 73 text

ライブ配信の「信頼性」「可⽤性」を上げてきて思ったこと 73

Slide 74

Slide 74 text

「完璧なライブ配信」を⽬指してはいけない 74

Slide 75

Slide 75 text

ライブ配信の「信頼性」「可⽤性」を上げてきて思ったこと 75 ● SREがSLO 100%を⽬指さないのと同じ ● 「完璧なライブ配信」を無料の技術イベント配信で⽬指すと⼤変 ○ “ライブ配信業”として⾏っていただいているもの、有料の技術イベント配信などは「完璧なライブ配信」を⽬指しているものはある ○ 趣味の範囲でやっているのには限界があるという話 ● 技術イベントの登壇者が資料公開することが多い ○ 配信が⾒れなくなってもなんとかなる「完璧なライブ配信」を⽬指してはいけない

Slide 76

Slide 76 text

76 ● イベント時間の9割配信が⽌まっていたら視聴者は⾒ない(離脱する) ● 「どの程度配信停⽌やトラブルが許容できるか」を考えている ○ SLI/SLOを設定するのと似ている ○ エラーバジェットは確保する「完璧なライブ配信」を⽬指してはいけないライブ配信の「信頼性」「可⽤性」を上げてきて思ったこと

Slide 77

Slide 77 text

まとめと結論 77

Slide 78

Slide 78 text

まとめ 78 1. 様々な課題に対してSREプラクティスでイベント配信を改善してきた話 2. 「信頼性」「可⽤性」という観点の応⽤ 3. まだ改善できるところはある 4. イベントで配信している⼈は、⾒た⽬以上に考えていたり準備撤収が⼤変なので労ってあげてほしい SREの視点からハイブリッド技術イベントのライブ配信を改善した

Slide 79

Slide 79 text

質問やもっと配信周りの濃い話しは Ask The speakerで！ 79

Slide 80

Slide 80 text

宣伝 80

Slide 81

Slide 81 text

11⽉28⽇(⽊)にペパボで技術イベントを開催予定です！ https://pepabo.connpass.com/ 81 もちろん配信も(私が)やります

Slide 82

Slide 82 text

82 Thank you!