AWSを用いた番組連動Webコンテンツ処理基盤の構築

負荷対策や高い安定性を維持する必要のある番組と連動したWebコンテンツの配信処理基盤をAWSのサーバアーキテクチャを用いて構築した。

Transcript

1.      
   デジタルコンテンツ部⾨ ⼩南英司
   Media-JAWS 第2回 re:Late
   AWSを⽤いた
   番組連動Webコンテンツ処理基盤の構築
   

   View Slide

2. 2
   ⾃⼰紹介
    ⼩南 英司（こみなみ えいじ）   
     株式会社デジアサ チーフエンジニア
     サーバサイドの構築 から アプリの実装 まで
     プリキュア応援アプリの開発/実装
     ⾼校野球速報アプリの開発/実装
     ライブ動画配信⽤制作システムの構築
                   ...など
   @eijikominami
   

   View Slide

3. 3
           のご紹介  
     朝⽇放送（ABC）グループのデジタルコンテンツ企業
     字幕制作
   •  パッケージ字幕の制作
   •  リアルタイム字幕の付与
   •  字幕制作ソフトウェアの販売
     Web/データ放送コンテンツの制作
   •  会社/番組公式Webサイト
   •  番組連動型Webコンテンツの制作
   •  データ放送コンテンツの制作
     システム開発
   •  報道原稿管理システム（Yahoo!ニュース等への出稿）
   •  TVer向け素材納品システム
   •  AWS APNコンサルティングパートナー セレクトTier
   

   View Slide

4. 4
   本⽇お話したいこと
     放送と連動した視聴者参加型コンテンツで
   システムの安定性と開発/運⽤の効率性をいかに両⽴させるか
   ⾼い安定性が求められる
     ⼀発勝負/ミスできない
     本編への影響, 営業案件 ...
     負荷対策
     バーストトラフィックの発⽣
     限られた予算
     短い納期
     少⼈数体制による開発
   限りあるリソース
   TV / PC / Mobile Directors
   AWS Cloud
   番組連動
   Webコンテンツ
   処理基盤
   投票データ
   HTML/結果
   結果
   リモコンの
   ⾊ボタンを
   プッシュ！
   

   View Slide

5. 5
   システム構成図
   Amazon
   CloudFront
   Amazon
   API Gateway
   Amazon Kinesis
   Data Streams Amazon
   DynamoDB
   DynamoDB Streams
   Amazon
   CloudFront
   Amazon S3 AWS
   CloudFormation
   AWS
   CloudFormation
   AWS
   CloudFormation
   AWS
   Security Hub
   ユーザ
   

   View Slide

6. 6
   システム構成図
   Amazon
   CloudFront
   Amazon
   API Gateway
   Amazon Kinesis
   Data Streams Amazon
   DynamoDB
   DynamoDB Streams
   Amazon
   CloudFront
   Amazon S3 AWS
   CloudFormation
   AWS
   CloudFormation
   AWS
   CloudFormation
   AWS
   Security Hub
   投票データの受付
   結果データの表⽰
   集計処理
   静的Webサイトのホスティング
   その他
   ユーザ
   

   View Slide

7. 効率性の向上と継続的インテグレーション
   7
   

   View Slide

8. 8
   システムの完全サーバレス化
     サーバレスアーキテクチャのみで実装
     API Gateway, Kinesis, Lambda, DynamoDB, S3, CloudFront ...
     EC2インスタンスなし
   メリット
     運⽤保守に掛かる⼈的コストが⼤幅に低減される
     「使った分だけ課⾦」のため利⽤料⾦も低減
   注意を要する点
     最⼤負荷を考慮した綿密な設計とチューニングが必要
     サービスの仕様を正しく理解する必要がある
   

   View Slide

9. 9
   AWS SAMを⽤いた継続的デプロイ
     インフラもコードも⼀括管理
     IAM Roleの作成
   –  Wizardで⾃動⽣成されたIAM Roleの残骸だらけにならない
   –  必要最低限の権限のみを付与しているかコードベースで確認できる
   CloudWatch Alarmの作成
   –  どの項⽬をどのような閾値で監視しているかが明確になる
   –  似たような設定項⽬を繰り返し⼿動で設定する必要が無い
     Lambdaのソースコード管理
   –  他のサービスの設定値とLambdaの環境変数をシンクロできる
   –  ローカルで動作検証できる（AWS SAM Local）
   –  依存ライブラリのパッケージングも楽チン
     その他全てのAWSリソースをテンプレートに記述
   メリット
   メリット
   メリット
   メリット
   メリット
   メリット
   メリット
   

   View Slide

10.   デプロイの⾃動化
      ⼿動操作を排除することで⼈為ミスを⼤幅に低減することが可能
      他のリージョンへの展開や本番環境への反映をコマンド1つで実現
      リソースの⼿動変更も簡単操作、必要な項⽬だけ
      機能の有効化/無効化も設定可能
      属⼈化の排除と品質の⼀定化
      ブラックボックスを無くす
      主要な機能をテンプレート化して共⽤
    10
    AWS SAMを⽤いた継続的デプロイ
    セキュリティテンプレート
    Amazon
    Inspector
    Amazon
    GuardDuty
    AWS
    Config
    AWS
    CloudTrail
    Amazon
    S3
    

    View Slide

11. 安定性の向上
    11
    

    View Slide

12.      ：トラフィックを徐々に下げながら受け⽌める
         ：CloudFrontとAPI Gateway キャッシュの活⽤
    12
    負荷対策
    Amazon
    API Gateway
    Amazon Kinesis
    Data Streams
    Amazon
    DynamoDB
    DynamoDB
    Streams
    ユーザ
    POST
    GET
    Amazon
    DynamoDB
    1000 records/sec
    3taps
    0.2million users
    60万 taps/sec
    2万 req/sec
    ⽣データの書き込み
    batchwriter.putItem()
    4 records/sec
    集計データの更新
    updatetItem()
    atomic counter
    新旧イメージを⽐較して
    集計データを増減
    10秒に1回送信
    

    View Slide

13. 13
    異常データへの対応
      想定外のデータによる想定外の挙動を排除する
    Amazon
    API Gateway
    Amazon Kinesis
    Data Streams
    Amazon
    DynamoDB
    DynamoDB
    Streams
    ユーザ
    Amazon
    DynamoDB
    パラメータのバリデート
      パスパラメータ
      クエリパラメータ
    Body（送信データ）のバリデート
      JSON Schemaを⽤いた構造チェック
      必須項⽬の有無
      データ型
      下限値や上限値
      デフォルト値             ...など
    異常データの排除
      データ型
      空データ
      ⼊⼒データの⻑さや数
      既存のデータとの⽐較
      時刻情報との⽐較  ...など
    例外処理の強化
      ExceptionをCatchして
         適切に処理する
    

    View Slide

14. 14
    システム構成図（再掲）
    Amazon
    CloudFront
    Amazon
    API Gateway
    Amazon Kinesis
    Data Streams Amazon
    DynamoDB
    DynamoDB Streams
    Amazon
    CloudFront
    Amazon S3 AWS
    CloudFormation
    AWS
    CloudFormation
    AWS
    CloudFormation
    AWS
    Security Hub
    ユーザ
    

    View Slide

15. 15
    まとめ
      サーバレス + SAMで継続的インテグレーション
      開発/運⽤の負荷を下げ、短期間/少⼈数による開発体制を実現
      デプロイ⾃動化による⼈為ミスの低減と迅速なリソース展開を実現
      属⼈化/ブラックボックス化を避けて、プロダクトの品質を⼀定に保つ
      安定性向上を⽬指した設計と実装
      負荷対策
      異常データへの対応
    SaaSサービスとしてのご提供も準備中
    

    View Slide

16.  デジアサ東京オフィス、技術職募集中。
     業務内容
             技術担当
     勤務地
    浜松町クレアタワー（⼤⾨駅直結）
     お問合わせ
    •  弊社Webサイトのお問合せフォーム
    •                    まで
    16
    そんなデジアサで働きませんか！
    

    View Slide