Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Google BigQuery × Amazon Redshift
Search
Fumihide Nario
February 06, 2016
Technology
1
2.9k
Google BigQuery × Amazon Redshift
CROSS 2016
Fumihide Nario
February 06, 2016
Tweet
Share
More Decks by Fumihide Nario
See All by Fumihide Nario
サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介
fumihide
1
1k
カラムナーデータベース徹底比較
fumihide
2
1.1k
Other Decks in Technology
See All in Technology
Fargateを使った研修の話
takesection
0
110
visionOSでの空間表現実装とImmersive Video表示について / ai-immersive-visionos
cyberagentdevelopers
PRO
1
110
新卒1年目が挑む!生成AI × マルチエージェントで実現する次世代オンボーディング / operation-ai-onboarding
cyberagentdevelopers
PRO
1
160
30万人が利用するチャットをFirebase Realtime DatabaseからActionCableへ移行する方法
ryosk7
5
330
カメラを用いた店内計測におけるオプトインの仕組みの実現 / ai-optin-camera
cyberagentdevelopers
PRO
1
120
pandasはPolarsに性能面で追いつき追い越せるのか
vaaaaanquish
4
4.5k
オニオンアーキテクチャで実現した 本質課題を解決する インフラ移行の実例
hryushm
14
3k
物価高なラスベガスでの過ごし方
zakky
0
370
Apple/Google/Amazonの決済システムの違いを踏まえた定期購読課金システムの構築 / abema-billing-system
cyberagentdevelopers
PRO
1
220
LeSSに潜む「隠れWF病」とその処方箋
lycorptech_jp
PRO
2
120
プロダクトチームへのSystem Risk Records導入・運用事例の紹介/Introduction and Case Studies on Implementing and Operating System Risk Records for Product Teams
taddy_919
1
170
フルカイテン株式会社 採用資料
fullkaiten
0
36k
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
27
1.9k
Producing Creativity
orderedlist
PRO
341
39k
Building Better People: How to give real-time feedback that sticks.
wjessup
363
19k
GitHub's CSS Performance
jonrohan
1030
460k
Product Roadmaps are Hard
iamctodd
PRO
48
10k
4 Signs Your Business is Dying
shpigford
180
21k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
26
2.1k
Optimising Largest Contentful Paint
csswizardry
33
2.9k
Documentation Writing (for coders)
carmenintech
65
4.4k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
6.9k
A designer walks into a library…
pauljervisheath
202
24k
Transcript
Google BigQuery × Amazon Redshift CyberAgent アドテク本部 成尾 文秀
自己紹介 2011年5月よりサイバーエージェントグループのSAP(現SGE)にて インフラや開発を担当。 2014年4月からアドテク本部にてインフラエンジニアとして 多数の広告プロダクトのサーバー、ミドルウェア、データベースなどの構築、運用から データ分析基盤など担当
株式会社サイバーエージェント 1998年の創業以来、インターネットを軸に事業を展開し 現在では代表的なサービスである「Ameba」をはじめ、 スマートフォン向けに多数のコミュニティサービスやゲームを提供しています。
株式会社サイバーエージェント
アドテク本部 インターネット広告において、広告配信の最適化やメディアの収益最大化という観点から アドテクノロジーの重要度が高まっています。 サイバーエージェントではアドテクノロジー分野におけるこれらのサービスについて各子会社を通じ開発しておりましたが 各サービスの開発部門を横断して組織化する専門部署としてアドテク本部が設立されました。
Google BigQuery アドテク本部ではオンプレミスだけでなく OpenStackで構築したPrivate Cloudをはじめ複数のCloudを専用線で結び利用しています。 各環境にあるサーバー側で出力したログを Fluentdを経由してBigQuery側にStreaming insert ・Streaming insertすることでほぼリアルタイムで確認が可能
・他のDWHからの移行ではなくBigQueryを利用する上で新規で作成 ・基本的にスキーマに変更が少なく JOINも少ない ・多角度からの分析を定常的に行う環境ではなく必要に応じて分析
各環境にあるサーバー側で出力したログを Fluentdを経由してRedshiftにLoad ・多角度からの分析を定常的に行う環境で利用 ・ログのスキーマ変更が多い、人が実際に SQLを実行する機会も多く、 JOINも多様される ・アドテク本部では小さいインスタンスタイプも含め 100Node以上利用(昨年10月時点) Amazon Redshift
Sparkで処理を行うケースも増えてきました。 ・定常的な処理(Cronによるバッチ処理)で利用 ・アドテク本部ではパフォーマンスと安定性を求め MapR Technologies社のMapR M7を採用 ・Spark Streaming処理、MapR-FS(HDFS互換)にデータを置いての Spark処理やMapReduce処理 Spark
ちなみに・・
アドテク本部ではRedshiftのもとになっているactian社のMatrixを採用し利用が進んでいます。 ・インスタンスタイプに縛られずハードウェアの選定ができる Matrix さいごに・・