Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWSを用いた番組連動Webコンテンツ処理基盤の構築

 AWSを用いた番組連動Webコンテンツ処理基盤の構築

負荷対策や高い安定性を維持する必要のある番組と連動したWebコンテンツの配信処理基盤をAWSのサーバアーキテクチャを用いて構築した。

More Decks by Eiji KOMINAMI / 小南英司

Other Decks in Technology

Transcript

  1.      
    デジタルコンテンツ部⾨ ⼩南英司
    Media-JAWS 第2回 re:Late
    AWSを⽤いた
    番組連動Webコンテンツ処理基盤の構築

    View Slide

  2. 2
    ⾃⼰紹介
     ⼩南 英司(こみなみ えいじ)   
      株式会社デジアサ チーフエンジニア
      サーバサイドの構築 から アプリの実装 まで
      プリキュア応援アプリの開発/実装
      ⾼校野球速報アプリの開発/実装
      ライブ動画配信⽤制作システムの構築
                    ...など
    @eijikominami

    View Slide

  3. 3
            のご紹介  
      朝⽇放送(ABC)グループのデジタルコンテンツ企業
      字幕制作
    •  パッケージ字幕の制作
    •  リアルタイム字幕の付与
    •  字幕制作ソフトウェアの販売
      Web/データ放送コンテンツの制作
    •  会社/番組公式Webサイト
    •  番組連動型Webコンテンツの制作
    •  データ放送コンテンツの制作
      システム開発
    •  報道原稿管理システム(Yahoo!ニュース等への出稿)
    •  TVer向け素材納品システム
    •  AWS APNコンサルティングパートナー セレクトTier

    View Slide

  4. 4
    本⽇お話したいこと
      放送と連動した視聴者参加型コンテンツで
    システムの安定性と開発/運⽤の効率性をいかに両⽴させるか
    ⾼い安定性が求められる
      ⼀発勝負/ミスできない
      本編への影響, 営業案件 ...
      負荷対策
      バーストトラフィックの発⽣
      限られた予算
      短い納期
      少⼈数体制による開発
    限りあるリソース
    TV / PC / Mobile Directors
    AWS Cloud
    番組連動
    Webコンテンツ
    処理基盤
    投票データ
    HTML/結果
    結果
    リモコンの
    ⾊ボタンを
    プッシュ!

    View Slide

  5. 5
    システム構成図
    Amazon
    CloudFront
    Amazon
    API Gateway
    Amazon Kinesis
    Data Streams Amazon
    DynamoDB
    DynamoDB Streams
    Amazon
    CloudFront
    Amazon S3 AWS
    CloudFormation
    AWS
    CloudFormation
    AWS
    CloudFormation
    AWS
    Security Hub
    ユーザ

    View Slide

  6. 6
    システム構成図
    Amazon
    CloudFront
    Amazon
    API Gateway
    Amazon Kinesis
    Data Streams Amazon
    DynamoDB
    DynamoDB Streams
    Amazon
    CloudFront
    Amazon S3 AWS
    CloudFormation
    AWS
    CloudFormation
    AWS
    CloudFormation
    AWS
    Security Hub
    投票データの受付
    結果データの表⽰
    集計処理
    静的Webサイトのホスティング
    その他
    ユーザ

    View Slide

  7. 効率性の向上と継続的インテグレーション
    7

    View Slide

  8. 8
    システムの完全サーバレス化
      サーバレスアーキテクチャのみで実装
      API Gateway, Kinesis, Lambda, DynamoDB, S3, CloudFront ...
      EC2インスタンスなし
    メリット
      運⽤保守に掛かる⼈的コストが⼤幅に低減される
      「使った分だけ課⾦」のため利⽤料⾦も低減
    注意を要する点
      最⼤負荷を考慮した綿密な設計とチューニングが必要
      サービスの仕様を正しく理解する必要がある

    View Slide

  9. 9
    AWS SAMを⽤いた継続的デプロイ
      インフラもコードも⼀括管理
      IAM Roleの作成
    –  Wizardで⾃動⽣成されたIAM Roleの残骸だらけにならない
    –  必要最低限の権限のみを付与しているかコードベースで確認できる
    CloudWatch Alarmの作成
    –  どの項⽬をどのような閾値で監視しているかが明確になる
    –  似たような設定項⽬を繰り返し⼿動で設定する必要が無い
      Lambdaのソースコード管理
    –  他のサービスの設定値とLambdaの環境変数をシンクロできる
    –  ローカルで動作検証できる(AWS SAM Local)
    –  依存ライブラリのパッケージングも楽チン
      その他全てのAWSリソースをテンプレートに記述
    メリット
    メリット
    メリット
    メリット
    メリット
    メリット
    メリット

    View Slide

  10.   デプロイの⾃動化
      ⼿動操作を排除することで⼈為ミスを⼤幅に低減することが可能
      他のリージョンへの展開や本番環境への反映をコマンド1つで実現
      リソースの⼿動変更も簡単操作、必要な項⽬だけ
      機能の有効化/無効化も設定可能
      属⼈化の排除と品質の⼀定化
      ブラックボックスを無くす
      主要な機能をテンプレート化して共⽤
    10
    AWS SAMを⽤いた継続的デプロイ
    セキュリティテンプレート
    Amazon
    Inspector
    Amazon
    GuardDuty
    AWS
    Config
    AWS
    CloudTrail
    Amazon
    S3

    View Slide

  11. 安定性の向上
    11

    View Slide

  12.      :トラフィックを徐々に下げながら受け⽌める
         :CloudFrontとAPI Gateway キャッシュの活⽤
    12
    負荷対策
    Amazon
    API Gateway
    Amazon Kinesis
    Data Streams
    Amazon
    DynamoDB
    DynamoDB
    Streams
    ユーザ
    POST
    GET
    Amazon
    DynamoDB
    1000 records/sec
    3taps
    0.2million users
    60万 taps/sec
    2万 req/sec
    ⽣データの書き込み
    batchwriter.putItem()
    4 records/sec
    集計データの更新
    updatetItem()
    atomic counter
    新旧イメージを⽐較して
    集計データを増減
    10秒に1回送信

    View Slide

  13. 13
    異常データへの対応
      想定外のデータによる想定外の挙動を排除する
    Amazon
    API Gateway
    Amazon Kinesis
    Data Streams
    Amazon
    DynamoDB
    DynamoDB
    Streams
    ユーザ
    Amazon
    DynamoDB
    パラメータのバリデート
      パスパラメータ
      クエリパラメータ
    Body(送信データ)のバリデート
      JSON Schemaを⽤いた構造チェック
      必須項⽬の有無
      データ型
      下限値や上限値
      デフォルト値             ...など
    異常データの排除
      データ型
      空データ
      ⼊⼒データの⻑さや数
      既存のデータとの⽐較
      時刻情報との⽐較  ...など
    例外処理の強化
      ExceptionをCatchして
         適切に処理する

    View Slide

  14. 14
    システム構成図(再掲)
    Amazon
    CloudFront
    Amazon
    API Gateway
    Amazon Kinesis
    Data Streams Amazon
    DynamoDB
    DynamoDB Streams
    Amazon
    CloudFront
    Amazon S3 AWS
    CloudFormation
    AWS
    CloudFormation
    AWS
    CloudFormation
    AWS
    Security Hub
    ユーザ

    View Slide

  15. 15
    まとめ
      サーバレス + SAMで継続的インテグレーション
      開発/運⽤の負荷を下げ、短期間/少⼈数による開発体制を実現
      デプロイ⾃動化による⼈為ミスの低減と迅速なリソース展開を実現
      属⼈化/ブラックボックス化を避けて、プロダクトの品質を⼀定に保つ
      安定性向上を⽬指した設計と実装
      負荷対策
      異常データへの対応
    SaaSサービスとしてのご提供も準備中

    View Slide

  16.  デジアサ東京オフィス、技術職募集中。
     業務内容
             技術担当
     勤務地
    浜松町クレアタワー(⼤⾨駅直結)
     お問合わせ
    •  弊社Webサイトのお問合せフォーム
    •                    まで
    16
    そんなデジアサで働きませんか!

    View Slide