Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
広告ログのリアルタイム集計とその活用 / Realtime Ad log aggregati...
Search
wata
July 28, 2017
Technology
2
6.7k
広告ログのリアルタイム集計とその活用 / Realtime Ad log aggregation and utilization
Cookpad Tech Kitchen #9
https://cookpad.connpass.com/event/60831/
wata
July 28, 2017
Tweet
Share
More Decks by wata
See All by wata
クックパッド動画事業開発のチャレンジ / CookpadTV challenge
wata
1
2.2k
クックパッドの動画事業での AWS AppSync 活用事例 / Practical use of AWS AppSync by Cookpad
wata
17
11k
Other Decks in Technology
See All in Technology
DeepSeekとは?何がいいの? - Databricksと学ぶDeepSeek! 〜これからのLLMに備えよ!〜
taka_aki
1
160
あなたが人生で成功するための5つの普遍的法則 #jawsug #jawsdays2025 / 20250301 HEROZ
yoshidashingo
2
320
AWS Well-Architected Frameworkで学ぶAmazon ECSのセキュリティ対策
umekou
2
150
Snowflakeの開発・運用コストをApache Icebergで効率化しよう!~機能と活用例のご紹介~
sagara
1
500
[OpsJAWS Meetup33 AIOps] Amazon Bedrockガードレールで守る安全なAI運用
akiratameto
1
120
株式会社Awarefy(アウェアファイ)会社説明資料 / Awarefy-Company-Deck
awarefy
3
11k
Cracking the Coding Interview 6th Edition
gdplabs
14
28k
Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減してみる #jawsdays2025
non97
1
230
2025/3/1 公共交通オープンデータデイ2025
morohoshi
0
100
エンジニア主導の企画立案を可能にする組織とは?
recruitengineers
PRO
1
280
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
170
Introduction to OpenSearch Project - Search Engineering Tech Talk 2025 Winter
tkykenmt
2
150
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
91
5.9k
What's in a price? How to price your products and services
michaelherold
244
12k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7.1k
Designing for Performance
lara
605
68k
KATA
mclloyd
29
14k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
Product Roadmaps are Hard
iamctodd
PRO
51
11k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Transcript
ࠂϩάͷϦΞϧλΠϜूܭͱ ͦͷ׆༻ 2017-07-26 Cookpad Tech Kitchen #9 wata
自己紹介 • 渡辺 慎也 • マーケティングプロダクト開発部 • 広告配信基盤周りの整備、開発保守 • やりたいこと
• Rails でアプリを書くよりコンテンツ配信に関わ る、ミドルウェア、インフラ、プロトコルのアー キテクチャを考えることや、改善、安定運用
Agenda • サービス規模 • アーキテクチャ ‣ 以前 ‣ Lambda Architecture
‣ 変更後 • 活用方法について
サービス規模 • インスタンス • c3.xlarge, c4.xlarge で構成 • 5 〜
18 台(Auto Scaling) • ピーク時同時リクエスト数 • 2,000 req/s 以上 ※2017年7月現在
アーキテクチャ
アーキテクチャ HTML レンダリング時に JavaScript で広告配信サーバに リクエストを投げて表示する。 配信 サーバ impression log
click log 302 redirect JSON Ajax
アーキテクチャ reverse proxy app mysql memcached fluentd queue Amazon
Redshift #SJDPMBHF 4USFBNJOH-PBE backup batch %8) Amazon DynamoDB
アーキテクチャ reverse proxy app mysql memcached fluentd queue Amazon
Redshift #SJDPMBHF 4USFBNJOH-PBE backup batch %8) Amazon DynamoDB ログデータがバッチ集計終わって mysql に入るまでに 1 時間ぐらいのラグがあった
もっと早くログが出ているか 確認したい!
そこで
Lambda Architecture
Lambda Architecture 出典元:http://lambda-architecture.net/
Lambda Architecture 出典元:http://lambda-architecture.net/ 既存のバッチ処理集計がここにあたる
Lambda Architecture 出典元:http://lambda-architecture.net/ それに speed layer を追加
アーキテクチャ app mysql memcached fluentd queue Amazon Redshift #SJDPMBHF
4USFBNJOH-PBE backup batch DWH Amazon DynamoDB reverse proxy
アーキテクチャ app mysql memcached fluentd queue Amazon Redshift #SJDPMBHF
4USFBNJOH-PBE backup batch DWH Amazon DynamoDB reverse proxy ここに
アーキテクチャ app mysql memcached fluentd queue Amazon Redshift #SJDPMBHF
4USFBNJOH-PBE backup batch DWH Amazon Kinesis Streams Lambda function Amazon DynamoDB speed layer Amazon DynamoDB reverse proxy
アーキテクチャ app mysql memcached fluentd queue Amazon Redshift #SJDPMBHF
4USFBNJOH-PBE backup batch DWH Amazon Kinesis Streams Lambda function Amazon DynamoDB speed layer Amazon DynamoDB reverse proxy speed layer を追加
None
Kinesis Streams から Lambda で DynamoDB に書き込む
DynamoDB Streams で 次の Lambda を起動させ 1 時間単位、1 日単位で集計 (処理的には
ADD)
日単位の集計は 1 時間単位で集計した データを利用
950 executions/min 75 〜 125ms 225 executions/min 190 〜 425ms
2900 executions/min 0.2 〜 1.0s
活用方法について
活用方法について • 集計データの確認方法 ‣ batch layer の集計データは mysql を参照 ‣
speed layer の集計データは DynamoDB を参照 • 使い分け ‣ batch layer はレポーティング等の正式なデータと して利用 ‣ speed layer はあくまでも速報値や確認の為に利用
活用方法について • 異常検知(耐障害性) • ログの流量変化によって異常検知 • 配信制御 • 直近のデータを考慮して、高精度で制御 •
在庫予測 • 直近のデータを考慮して、予測値を最適化
異常検知(耐障害性) • layer で突き合わせをしてズレを検知 ‣ batch layer の集計と、speed layer の集計を突
き合わせて、大きなズレがある場合は異常とし てエンジニアに通知する • 冗長化 ‣ 別の集計方法(完全に別ではないが)をするこ とで、DynamoDB または Redshift が落ちてい ても完全にログ集計が止まることはない
配信制御 • インプレッションの出し方が単純には いかない商品がある • 例えば 500 インプレッションを 1 週
間で出す場合はなるべく平準化する必 要がある
配信制御
配信制御
これでは駄目で
配信制御
配信制御
平準化する
配信制御 • 出しすぎてもいけないし、期間で平準 化する必要がある
在庫予測 • 在庫が余った場合に、別の商品を掲出 させたいことがある。 • その場合に人手で配信設定をせずとも 直近のデータに基いて掲出量を変更す る。
まとめ • batch layer だけでなく speed layer も導入、活用することで ‣ 掲出確認が迅速に行えるようになった
‣ 在庫の無駄を減らすことが出来る ‣ 2 layer で集計することで、異常検知可 能
ຖͷྉཧΛָ͠Έʹ 5IBOLZPV