SREが考えるハイブリッド開催の技術イベントのライブ配信における信頼性

SRE NEXT 2024
https://sre-next.dev/2024/schedule/#jp075

Transcript

1. 1 SREが考えるハイブリッド開催の 技術イベントの ライブ配信における信頼性 GMOペパボ ⽚平 直輝 / yuchi SRE NEXT 2024 2024.08.04
2. 2 アジェンダ 1. はじめに 2. ⾃⼰紹介 3. 担当サービス紹介 4. 「ハイブリッド開催の技術イベントのライブ配信」とは 5. SREプラクティスをライブ配信オペレーションに適⽤できるものが多い 6. 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 7. どうやって「信頼性」「可⽤性」を上げていったのか 8. まとめ
3. 3 はじめに • 技術イベントのライブ配信を信頼性や可⽤性の軸で改善した話 • ライブ配信技術全般 話すこと こんな⼈に向けて喋ります • 技術イベントに関わってる⼈ / これから始めたい⼈ • 技術イベントのライブ配信を⾒るのが好きな⼈ / 良く⾒てる⼈
4. 4 ⾃⼰紹介 技術部プラットフォームグループ 2022年 新卒⼊社 ⽚平 直輝 Katahira Naoki GMOペパボで主にカラーミーショップを担当して いるSRE。趣味が多い。 ⾃作キーボード(Lily58)、DJ、VJ、配信(と機材)、etc… • Link: yuchi.io • Twitter (現X): @F_YUUCHI
5. GMOペパボについて 5
6. 担当サービス紹介 6 • 国内最⼤級のECサイト構築サービス • 2005年にサービス開始 ◦ 現在のショップ数は約4万店舗 ◦ 流通総額は年間約2000億円 カラーミーショップ
7. SREをやってきて 得たプラクティスを 趣味のライブ配信に落とし込んでる 7
8. 「ハイブリッド開催の技術イベント」 のライブ配信とは 8
9. ハイブリッド開催の技術イベントのライブ配信とは 9 • リアルの会場に登壇者とお客さんが居る状態で発表が⾏われている • その様⼦がインターネットでライブ配信されている • SRE NEXT 2024も今回話す「ハイブリッド開催の技術イベント」に 該当する ハイブリッド開催の技術イベントの定義
10. ハイブリッド開催の技術イベントのライブ配信とは 10 • Road to SRE NEXT@福岡 • GMOペパボ主催「SREまつり」シリーズ ◦ Pepabo Tech Conference #21 夏のSREまつり ◦ Pepabo Tech Conference #22 春のSREまつり 2024 • ⾃作キーボードコミュニティ ◦ 天下⼀キーボードわいわい会 ◦ キー部 • etc… ハイブリッド開催技術イベントで配信を⾏ってきた
11. SREプラクティスを ライブ配信オペレーションに 適⽤できるものが多い 11
12. SREプラクティスをライブ配信オペレーションに適⽤できるものが多い 12 • 信頼性 ◦ 常にコンテンツ(Webサービス / ライブ配信)を提供できる状態を作る ▪ サイトが落ちない / 配信が⽌まらない • 可⽤性 ◦ ダウンタイムを最⼩限にするための構成を作る ▪ 冗⻑化、フェイルオーバーなど • モニタリング ◦ 安定してコンテンツを提供できているかをモニタリングする仕組みが ある
13. 「信頼性」「可⽤性」がない ライブ配信はどうなるのか？ 13
14. 14 配信が途切れる！！！！！！
15. 過去にこの状態を 起こしたことがある 15
16. 何が起こったか 16
17. 配信ソフトがクラッシュ編 17
18. (配信中) 「この設定を 少し変えないとな...(ｶﾁｶﾁ)」 18
19. あっ... 19
20. 配信ソフトが消えて 突然のデスクトップ背景！！！！ 20
22. ⾎の気の引く感じ ⼤量の冷や汗 動悸 22
23. もちろん配信は⽌まってしまった 23
24. まだある 24
25. ネットワークが安定しない編 25
26. 「有線で繋いでるはずなのに やけにネットワークが 安定しないなあ...」 26
27. LANアダプタを⾒ると アクセスランプが⼀切光っていない 27
29. LANアダプタがちゃんと 認識していなかった 29
30. これらは配信始めたての頃にやった やらかしシリーズ 30
31. ⼤反省 31
32. じゃあ何でこんなことが起こるの 32
33. 「ハイブリッド開催の技術イベント」で ⾏うライブ配信の難しさ 33
34. 34 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 34 • それぞれ来場者/視聴者が居るので⼀⽅の品質を落とすわけにはい かない • 映像機器や⾳響機器の使い⽅理解して操作できる⼈は思っている よりも少ない ◦ 1⼈オペレーション(ワンオペ)または限られた⼈数で配信を⾏ いがち ハイブリッド開催の技術イベントのライブ配信は難しい
35. 35 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 35 配信をやるためのリスト • 準備‧⽚付け • 映像のスイッチング(切り替え) • カメラの画⾓調整 • 配信⽤の⾳量バランス • 配信の死活監視 ハイブリッド開催の技術イベントのライブ配信は難しい
36. 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 36 配信要件と会場に合わせた配信システムの構成図を作る 配信準備
37. 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 37 短い時間で⾊々準備がある • 三脚‧カメラ設置 • カメラ画⾓調整 • ⼤量の配線 • マイクチェック • 会場/配信⾳声チェック • 配信リハーサル • etc… 配信準備/⽚付け
38. 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 38 • 配信開始 • 登壇者が変わるタイミングで映像の切り替え • テロップ変更 • 配信終了 • 放送事故を防ぐための蓋画 映像の切り替え(スイッチング)
39. 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 39 最初の準備を終えて配信開始後も 「結構動きながら喋ってるからカメラの画⾓を調整しておこう」など カメラの画⾓調整
40. 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 40 会場のスピーカーから出す⾳とは別に、 配信で⾒ている環境(イヤホン,スピーカー)で聞きやすい⾳を作ることを意 識している 配信⽤の⾳量バランス
41. 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 41 配信を開始しても、ネットワークの調⼦が悪くなったりする可能性 定期的に監視しておく必要がある 配信の死活監視
42. 42 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 42 カメラの画⾓調整 「動きながら喋ってるので カメラの画⾓を少し 変えておく」など 配信⽤の⾳量バランス 会場のスピーカーから出す⾳ と別に、配信で想定される環境 (イヤホン,スピーカー)で 聞きやすい⾳を作る 配信準備/⽚付け 配信の死活監視 映像のスイッチング 限られた準備時間で 配線‧配置‧リハーサルを ⾏って配信ができる状態を作る 「正常に配信ができているか」 を常に⾒守る 開始/終了、登壇者が変わる タイミングで映像の切り替えや テロップ変更をする
43. 43 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 43 カメラの画⾓調整 「動きながら喋ってるので カメラの画⾓を少し 変えておく」など 配信⽤の⾳量バランス 会場のスピーカーから出す⾳ と別に、配信で想定される環境 (イヤホン,スピーカー)で 聞きやすい⾳を作る 配信準備/⽚付け 配信の死活監視 映像のスイッチング 限られた準備時間で 配線‧配置‧リハーサルを ⾏って配信ができる状態を作る 「正常に配信ができているか」 を常に⾒守る 開始/終了、登壇者が変わる タイミングで映像の切り替えや テロップ変更をする (⾃分の場合) これらをほぼ1⼈でやることが多い
44. 44 「ハイブリッド開催の技術イベント」で⾏うライブ配信の難しさ 44 カメラの画⾓調整 「動きながら喋ってるので カメラの画⾓を少し 変えておく」など 配信⽤の⾳量バランス 会場のスピーカーから出す⾳ と別に、配信で想定される環境 (イヤホン,スピーカー)で 聞きやすい⾳を作る 配信準備/⽚付け 配信の死活監視 映像のスイッチング 限られた準備時間で 配線‧配置‧リハーサルを ⾏って配信ができる状態を作る 「正常に配信ができているか」 を常に⾒守る 開始/終了、登壇者が変わる タイミングで映像の切り替えや テロップ変更をする (⾃分の場合) これらをほぼ1⼈でやることが多い ⼈間の頭は1個だし、腕は2本しか無い！！！！！
45. どうやって 「信頼性」「可⽤性」を 上げていったのか 45
46. どうやって「信頼性」「可⽤性」を上げていったのか 46 現場ごとに⼤⼩かかわらず何かしらミスが付き物 現場が終わるごとにポストモーテム(振り返り)を書く
47. 47 • パソコンで配信するのをやめました ◦ なんでもできるが... ◦ 周辺機器との相性問題 ◦ 他のソフトとのリソースの奪い合いが発⽣しうる 配信ソフトの使⽤をやめる どうやって「信頼性」「可⽤性」を上げていったのか
48. 48 https://www.blackmagicdesign.com/jp/store/record-capture-playback/streaming-encoding/W-WPR-02 https://www.blackmagicdesign.com/jp/store/atem-live-production/live-production-switchers/W-APS-2 https://www.blackmagicdesign.com/jp/store/record-capture-playback/recording-disk-storage/W-HYD-11 どうやって「信頼性」「可⽤性」を上げていったのか
49. ボタンがいっぱい付いてるし光るし 超かっこいい！！！！！！！ 49
50. 50 • 放送業界や配信専⾨業者が使うようなメーカーの機械 • 業務⽤クラスの安定性と信頼性 ◦ 導⼊後は「配信が完全に⽌まる」という問題は0になった 配信ソフトの使⽤をやめて専⽤の機材の導⼊ https://www.blackmagicdesign.com/jp/store/record-capture-playback/streaming-encoding/W-WPR-02 https://www.blackmagicdesign.com/jp/store/atem-live-production/live-production-switchers/W-APS-26 https://www.blackmagicdesign.com/jp/store/record-capture-playback/recording-disk-storage/W-HYD-11 どうやって「信頼性」「可⽤性」を上げていったのか
51. 「信頼性」「可⽤性」向上のための 機能が盛り込まれている 51
52. 52 https://www.blackmagicdesign.com/jp/products/hyperdeckstudio どうやって「信頼性」「可⽤性」を上げていったのか
53. “オンエアを途切れさせない冗⻑性！” 世界で⼀番好きな⾔葉です！！！ 53
54. ”サービスを⽌めさせない冗⻑性” をSREは作ってる 54
55. 55 他にもクリティカルなトラブルも起こり得る • ケーブルを忘れる • 現場で機材同⼠の接続がうまくいかない • 会場のネットワークが安定しない 機材導⼊だけでは解決しない問題もある https://www.blackmagicdesign.com/jp/store/record-capture-playback/streaming-encoding/W-WPR-02 https://www.blackmagicdesign.com/jp/store/atem-live-production/live-production-switchers/W-APS-26 https://www.blackmagicdesign.com/jp/store/record-capture-playback/recording-disk-storage/W-HYD-11 どうやって「信頼性」「可⽤性」を上げていったのか
56. 56 • 前⽇に想定した構成で配信テストを⾏っている • バラし(ケーブル抜いて元の状態にする)→荷物を詰める→現地で設営 ◦ これが⼤変 • 「前⽇この構成で動いたのに...」「昨⽇テストで使ったケーブル⼊れ 忘れた...」というのがよくある ケーブルを忘れる/機材同⼠の接続がうまくいかない どうやって「信頼性」「可⽤性」を上げていったのか
57. 57 「コンテナ化」という考えがある
58. 58 • ラックサーバーと同じく19インチラック規格のケースマウントできる • 箱の中に必要な機材を取り付けと配線をすれば「配信機材コンテナ」 の完成 • 電源を差せば必要なコンポーネントが⼀気に全部⽴ち上がる 業務⽤機材なのでラックマウントができる どうやって「信頼性」「可⽤性」を上げていったのか
59. 実質docker compose up 59
60. 60 • 現場でカメラ、マイク⾳声、インターネット etc…を繋ぐだけ • 即配信が⾏える状態を作れた • テスト後のバラし最低限で済む ◦ 「前⽇この構成で動いたのに...」というのが格段に減った 業務⽤機材なのでラックマウントができる どうやって「信頼性」「可⽤性」を上げていったのか
61. ネットワークが安定しない場合は？ 61
62. 62 配信状態を⾒ながら、「ネットワークがヤバい」となったらエンコーダに スマートフォンを接続してテザリングをONにすればモバイル回線で配信 が⾏える ネットワークが安定しない https://www.blackmagicdesign.com/jp/products/blackmagicwebpresenter どうやって「信頼性」「可⽤性」を上げていったのか
63. 63 • 配信⽤ソフトだとステータスの表⽰が⼩さい • 現在の値しか⾒ることができない 配信ステータスのモニタリング どうやって「信頼性」「可⽤性」を上げていったのか
64. 64 どうやって「信頼性」「可⽤性」を上げていったのか
65. モニタリング環境が本当に良くない 65
66. どうやって「信頼性」「可⽤性」を上げていったのか 66 • 専⽤機材 でモニタリングも改善できた • 機材が⽤意しているステータス画⾯を使える 配信ステータス監視
67. 67 どうやって「信頼性」「可⽤性」を上げていったのか https://www.blackmagicdesign.com/jp/products/blackmagicwebpresenter
68. 68 どうやって「信頼性」「可⽤性」を上げていったのか
69. 69 どうやって「信頼性」「可⽤性」を上げていったのか
70. topコマンドから Grafana等のメトリクスツールに 変わったぐらいの変化 70
71. 71 • お⼿伝いしてもらう⼈にも分かりやすくして属⼈化を減らす 配信ステータス監視 どうやって「信頼性」「可⽤性」を上げていったのか
72. 最⾼の可観測性 72
73. ライブ配信の 「信頼性」「可⽤性」を上げてきて 思ったこと 73
74. 「完璧なライブ配信」 を⽬指してはいけない 74
75. ライブ配信の「信頼性」「可⽤性」を上げてきて思ったこと 75 • SREがSLO 100%を⽬指さないのと同じ • 「完璧なライブ配信」を無料の技術イベント配信で⽬指すと⼤変 ◦ “ライブ配信業”として⾏っていただいているもの、有料の技術イベント配信な どは「完璧なライブ配信」を⽬指しているものはある ◦ 趣味の範囲でやっているのには限界があるという話 • 技術イベントの登壇者が資料公開することが多い ◦ 配信が⾒れなくなってもなんとかなる 「完璧なライブ配信」を⽬指してはいけない
76. 76 • イベント時間の9割配信が⽌まっていたら視聴者は⾒ない(離脱する) • 「どの程度配信停⽌やトラブルが許容できるか」を考えている ◦ SLI/SLOを設定するのと似ている ◦ エラーバジェットは確保する 「完璧なライブ配信」を⽬指してはいけない ライブ配信の「信頼性」「可⽤性」を上げてきて思ったこと
77. まとめと結論 77
78. まとめ 78 1. 様々な課題に対してSREプラクティスでイベント配信を改善してきた話 2. 「信頼性」「可⽤性」という観点の応⽤ 3. まだ改善できるところはある 4. イベントで配信している⼈は、⾒た⽬以上に考えていたり準備撤収が⼤変なので 労ってあげてほしい SREの視点からハイブリッド技術イベントのライブ配信を改善した
79. 質問やもっと配信周りの濃い話しは Ask The speakerで！ 79
80. 宣伝 80
81. 11⽉28⽇(⽊)にペパボで 技術イベントを開催予定です！ https://pepabo.connpass.com/ 81 もちろん配信も(私が)やります
82. 82 Thank you!