Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google BigQuery × Amazon Redshift
Search
Fumihide Nario
February 06, 2016
Technology
1
2.8k
Google BigQuery × Amazon Redshift
CROSS 2016
Fumihide Nario
February 06, 2016
Tweet
Share
More Decks by Fumihide Nario
See All by Fumihide Nario
サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介
fumihide
1
930
カラムナーデータベース徹底比較
fumihide
2
980
Other Decks in Technology
See All in Technology
KubeConにproposalを送りたい人へのアドバイス
sat
PRO
3
240
Databricks における 『MLOps』
databricksjapan
2
170
SPI原点回帰論:事業課題とFour Keysの結節点を見出す実践的ソフトウェアプロセス改善 / DevOpsDays Tokyo 2024
visional_engineering_and_design
4
1.9k
Google Cloud の AI を支える裏側のインフラを垣間見る!
maroon1st
0
340
Java EE/Jakarta EEの現状と将来―クラウドネイティブ時代にJava EEは対応できるのか?―
takakiyo
1
140
Hands-on Gemini, the Google DeepMind LLM
meteatamel
1
110
Delivering Millions of Messages within seconds @ Duolingo
pelelgrino
0
350
長期運用プロジェクトでのMySQLからTiDB移行の検証
colopl
2
840
現代CSSフレームワークの内部実装とその仕組み
poteboy
8
3.6k
AOAI をきっかけに 社内の Azure 管理を見直した話
recruitengineers
PRO
1
260
開発パフォーマンスを最大化するための開発体制
ham0215
2
280
リテール金融(キャッシュレス・ネット銀行・ネット証券)の競争環境と経済圏
8maki
0
620
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
175
21k
Agile that works and the tools we love
rasmusluckow
325
20k
Optimizing for Happiness
mojombo
370
69k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
244
20k
Embracing the Ebb and Flow
colly
80
4.1k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
Robots, Beer and Maslow
schacon
PRO
155
7.9k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
21
1.6k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
2
1.3k
What’s in a name? Adding method to the madness
productmarketing
PRO
16
2.6k
Making Projects Easy
brettharned
108
5.5k
Transcript
Google BigQuery × Amazon Redshift CyberAgent アドテク本部 成尾 文秀
自己紹介 2011年5月よりサイバーエージェントグループのSAP(現SGE)にて インフラや開発を担当。 2014年4月からアドテク本部にてインフラエンジニアとして 多数の広告プロダクトのサーバー、ミドルウェア、データベースなどの構築、運用から データ分析基盤など担当
株式会社サイバーエージェント 1998年の創業以来、インターネットを軸に事業を展開し 現在では代表的なサービスである「Ameba」をはじめ、 スマートフォン向けに多数のコミュニティサービスやゲームを提供しています。
株式会社サイバーエージェント
アドテク本部 インターネット広告において、広告配信の最適化やメディアの収益最大化という観点から アドテクノロジーの重要度が高まっています。 サイバーエージェントではアドテクノロジー分野におけるこれらのサービスについて各子会社を通じ開発しておりましたが 各サービスの開発部門を横断して組織化する専門部署としてアドテク本部が設立されました。
Google BigQuery アドテク本部ではオンプレミスだけでなく OpenStackで構築したPrivate Cloudをはじめ複数のCloudを専用線で結び利用しています。 各環境にあるサーバー側で出力したログを Fluentdを経由してBigQuery側にStreaming insert ・Streaming insertすることでほぼリアルタイムで確認が可能
・他のDWHからの移行ではなくBigQueryを利用する上で新規で作成 ・基本的にスキーマに変更が少なく JOINも少ない ・多角度からの分析を定常的に行う環境ではなく必要に応じて分析
各環境にあるサーバー側で出力したログを Fluentdを経由してRedshiftにLoad ・多角度からの分析を定常的に行う環境で利用 ・ログのスキーマ変更が多い、人が実際に SQLを実行する機会も多く、 JOINも多様される ・アドテク本部では小さいインスタンスタイプも含め 100Node以上利用(昨年10月時点) Amazon Redshift
Sparkで処理を行うケースも増えてきました。 ・定常的な処理(Cronによるバッチ処理)で利用 ・アドテク本部ではパフォーマンスと安定性を求め MapR Technologies社のMapR M7を採用 ・Spark Streaming処理、MapR-FS(HDFS互換)にデータを置いての Spark処理やMapReduce処理 Spark
ちなみに・・
アドテク本部ではRedshiftのもとになっているactian社のMatrixを採用し利用が進んでいます。 ・インスタンスタイプに縛られずハードウェアの選定ができる Matrix さいごに・・