Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google BigQuery × Amazon Redshift
Search
Fumihide Nario
February 06, 2016
Technology
1
2.9k
Google BigQuery × Amazon Redshift
CROSS 2016
Fumihide Nario
February 06, 2016
Tweet
Share
More Decks by Fumihide Nario
See All by Fumihide Nario
サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介
fumihide
1
1k
カラムナーデータベース徹底比較
fumihide
2
1.2k
Other Decks in Technology
See All in Technology
Introduction to Works of ML Engineer in LY Corporation
lycorp_recruit_jp
0
160
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
0
140
『Firebase Dynamic Links終了に備える』 FlutterアプリでのAdjust導入とDeeplink最適化
techiro
0
230
安心してください、日本語使えますよ―Ubuntu日本語Remix提供休止に寄せて― 2024-11-17
nobutomurata
1
1k
SREが投資するAIOps ~ペアーズにおけるLLM for Developerへの取り組み~
takumiogawa
4
1.1k
生成AIが変えるデータ分析の全体像
ishikawa_satoru
0
210
LINEヤフーにおけるPrerender技術の導入とその効果
narirou
2
640
100 名超が参加した日経グループ横断の競技型 AWS 学習イベント「Nikkei Group AWS GameDay」の紹介/mediajaws202411
nikkei_engineer_recruiting
1
180
Terraform Stacks入門 #HashiTalks
msato
0
370
Flutterによる 効率的なAndroid・iOS・Webアプリケーション開発の事例
recruitengineers
PRO
0
160
Why App Signing Matters for Your Android Apps - Android Bangkok Conference 2024
akexorcist
0
140
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
3.9k
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
730
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Documentation Writing (for coders)
carmenintech
65
4.4k
How To Stay Up To Date on Web Technology
chriscoyier
788
250k
Intergalactic Javascript Robots from Outer Space
tanoku
269
27k
Gamification - CAS2011
davidbonilla
80
5k
Six Lessons from altMBA
skipperchong
27
3.5k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Ruby is Unlike a Banana
tanoku
97
11k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
27
850
Transcript
Google BigQuery × Amazon Redshift CyberAgent アドテク本部 成尾 文秀
自己紹介 2011年5月よりサイバーエージェントグループのSAP(現SGE)にて インフラや開発を担当。 2014年4月からアドテク本部にてインフラエンジニアとして 多数の広告プロダクトのサーバー、ミドルウェア、データベースなどの構築、運用から データ分析基盤など担当
株式会社サイバーエージェント 1998年の創業以来、インターネットを軸に事業を展開し 現在では代表的なサービスである「Ameba」をはじめ、 スマートフォン向けに多数のコミュニティサービスやゲームを提供しています。
株式会社サイバーエージェント
アドテク本部 インターネット広告において、広告配信の最適化やメディアの収益最大化という観点から アドテクノロジーの重要度が高まっています。 サイバーエージェントではアドテクノロジー分野におけるこれらのサービスについて各子会社を通じ開発しておりましたが 各サービスの開発部門を横断して組織化する専門部署としてアドテク本部が設立されました。
Google BigQuery アドテク本部ではオンプレミスだけでなく OpenStackで構築したPrivate Cloudをはじめ複数のCloudを専用線で結び利用しています。 各環境にあるサーバー側で出力したログを Fluentdを経由してBigQuery側にStreaming insert ・Streaming insertすることでほぼリアルタイムで確認が可能
・他のDWHからの移行ではなくBigQueryを利用する上で新規で作成 ・基本的にスキーマに変更が少なく JOINも少ない ・多角度からの分析を定常的に行う環境ではなく必要に応じて分析
各環境にあるサーバー側で出力したログを Fluentdを経由してRedshiftにLoad ・多角度からの分析を定常的に行う環境で利用 ・ログのスキーマ変更が多い、人が実際に SQLを実行する機会も多く、 JOINも多様される ・アドテク本部では小さいインスタンスタイプも含め 100Node以上利用(昨年10月時点) Amazon Redshift
Sparkで処理を行うケースも増えてきました。 ・定常的な処理(Cronによるバッチ処理)で利用 ・アドテク本部ではパフォーマンスと安定性を求め MapR Technologies社のMapR M7を採用 ・Spark Streaming処理、MapR-FS(HDFS互換)にデータを置いての Spark処理やMapReduce処理 Spark
ちなみに・・
アドテク本部ではRedshiftのもとになっているactian社のMatrixを採用し利用が進んでいます。 ・インスタンスタイプに縛られずハードウェアの選定ができる Matrix さいごに・・