Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
re:Inventで刷新されたKinesisファミリー概説
Search
takipone
October 13, 2015
Technology
0
1.7k
re:Inventで刷新されたKinesisファミリー概説
2015/10/13 re:Growth 2015 TOKYO AWS re:Invent 復習SP
takipone
October 13, 2015
Tweet
Share
More Decks by takipone
See All by takipone
スキル育成に生かすLlamaIndexの活用 /using-llamaIndex-to-enhance-ones-skills
takipone
1
2.9k
DNSにちょっとだけ詳しくなりたい人に贈る少し突っ込んだDNSの話 / devioday1_dns
takipone
2
9.7k
Amazon VPC Latticeに期待する / look-for-vpc-lattice
takipone
0
990
DevelopersIOのアウトプット文化をハックして人材育成に繋げる話 /deviosapporo2022fall_takipone
takipone
0
760
AWSネットワークリソースをサービスでマルチテナントに 提供するときのスケーラビリティ / nwjaws202112-takipone
takipone
1
590
ネットワークがクラウドに載って変わることと変わらないこと /nwjaws201909-takipone
takipone
0
1.8k
AWSネイティブなEC/CRMシステム運用に欠かせないログ基盤構築 / cmdevio2018-aws-log-infra
takipone
7
2.8k
日本🇯🇵でAWS Direct Connect を利用する話/akiba-aws-dx
takipone
1
2.2k
CMブートキャンプ(社内勉強会) DNS 第4回 AWSのDNSサービス /cm-dnsstudy-4
takipone
2
19k
Other Decks in Technology
See All in Technology
Four keys改善の取り組み事例紹介
sansantech
PRO
3
230
Delivering Millions of Messages within seconds @ Duolingo
pelelgrino
0
330
SIEMを用いて、セキュリティログ分析の可視化と分析を実現し、PDCAサイクルを回してみた
coconala_engineer
0
220
Signals Unleashed: The Full Guide
rainerhahnekamp
0
370
巨大なテーブルのテーブル定義を無停止で安全に誰でも変更できるようにする / Table-definitions-for-huge-tables-can-be-modified-by-anyone-safely-and-non-disruptively
freee
1
740
Postman v10リリース後を振り返る
nagix
0
130
NgRx Signal Store
rainerhahnekamp
0
110
ChatGPT for IT Service Management (IT Pro)
dahatake
2
140
オブザーバビリティの Primary Signals
onk
PRO
0
550
20240416_devopsdaystokyo
kzkmaeda
1
190
人間の尊厳、幸福、アクセシビリティ / 第116回「WEB TOUCH MEETING」アクセシビリティSP
nulabinc
PRO
2
180
長期運用プロジェクトでのMySQLからTiDB移行の検証
colopl
2
660
Featured
See All Featured
Teambox: Starting and Learning
jrom
128
8.4k
Faster Mobile Websites
deanohume
297
30k
Done Done
chrislema
178
15k
Writing Fast Ruby
sferik
620
60k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
60
14k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
356
22k
Bash Introduction
62gerente
604
210k
Why You Should Never Use an ORM
jnunemaker
PRO
50
8.6k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
321
20k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
154
14k
It's Worth the Effort
3n
180
27k
Practical Orchestrator
shlominoach
181
9.7k
Transcript
re:Inventで刷新された Kinesisファミリー概説 re:Growth 2015 TOKYO AWS re:Invent 復習SP classmethod.jp 1
2015/10/13 @SAPジャパン ⼤瀧隆太 #cmdevio
About me • Ryuta Otaki @takipone • Job title :
AWS Integration Pre-sales/Engineer • Interest : Network / Deployment Tools • Favorite AWS Service Amazon Route 53 classmethod.jp 2
Agenda • Kinesisアップデート概説 – re:Inventのセッション 「(BDT320) New! Streaming Data Flows with
Amazon Kinesis Firehose」 – Slideshareにスライド、Youtubeに動画が公開さ れています。「BDT320 aws」とかで検索すると すぐに⾒つかります。 – セッション再現とかじゃないです、すみません。 • 感想 classmethod.jp 3
classmethod.jp 4 Slideshareを開く
感想1 Firehoseをどう使うか • これからはFirehoseデフォルトで! • S3にファイルアップロードするときにファイ ルの分け⽅とか考えたくない! – ホストが多い、ファイル数が爆発しそうなとき等 • Redshiftへの新たなインポート⼿法
– “可能な限り最速”なアーキテクチャがワンクリッ クで – S3にアップロード→COPYを⼿動でやる場合とベ ンチマークするべき classmethod.jp 5
感想2 Kinesis Streamsは? • でも、Kinesis Streamもオワコンではない! • ラムダアーキテクチャ(not AWS Lambda)を実
装したい! • データアップロードプロセスをカスタマイズし たい! – Amazon ESへのインポートとか • KCL(Kinesis Client Library)が必要なアーキテ クチャはKinesis以外にもある – DynamoDB Streams、CloudWatch Subscriptions、 Cognito Events – AWS Lambdaとの使い分け classmethod.jp 6
感想3 課題 • Kinesis StreamsとFirehoseのAPIに互換性 が無い – FirehoseはStreams APIの簡易版でほとんど⼀緒 なので、Streamsを扱ったことのある⼈であれば 簡単に使えます。
• KinesisにレコードをPutする部分が弱い – API or AWS CLI – [NEW] fluent-plugin-kinesis-firehoseの登場 → 試してみたブログ書きました。 – [NEW] AWS IoTからのメッセージ転送 (Web画⾯には出ないけど、CLIで⾏ける模様) → ブログ書きます!(宣⾔) classmethod.jp 7
SORACOMと組み合わせたいなー • BeamにTLSをオフロードして欲しい! • Kinesis API – AWS V4の署名にHOSTヘッダが含まれるため、 BeamのHOSTヘッダをAWSに書き換える必要あ り。
– BeamにHTTPプロキシ機能が欲しい。 • AWS IoT MQTT API – BeamはMQTTのパスワード認証には対応してい るが、IoTのMQTTはクライアント証明書認証の み。 – MQTTクライアント証明書に対応して欲しい。 classmethod.jp 8
まとめ • FirehoseでKinesisがぐっと⾝近に! • というか、データが多くて⾯倒そう というときはまずFirehoseをかませるのが吉。 • 従来のKinesisはKinesis Streamsに •
Kinesis Analyticsはお預けパターン。 乞うご期待! classmethod.jp 9
• ありがとうございました! classmethod.jp 10