Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
re:Inventで刷新されたKinesisファミリー概説
Search
takipone
October 13, 2015
Technology
0
1.7k
re:Inventで刷新されたKinesisファミリー概説
2015/10/13 re:Growth 2015 TOKYO AWS re:Invent 復習SP
takipone
October 13, 2015
Tweet
Share
More Decks by takipone
See All by takipone
スキル育成に生かすLlamaIndexの活用 /using-llamaIndex-to-enhance-ones-skills
takipone
1
2.9k
DNSにちょっとだけ詳しくなりたい人に贈る少し突っ込んだDNSの話 / devioday1_dns
takipone
2
9.8k
Amazon VPC Latticeに期待する / look-for-vpc-lattice
takipone
0
1k
DevelopersIOのアウトプット文化をハックして人材育成に繋げる話 /deviosapporo2022fall_takipone
takipone
0
780
AWSネットワークリソースをサービスでマルチテナントに 提供するときのスケーラビリティ / nwjaws202112-takipone
takipone
1
600
ネットワークがクラウドに載って変わることと変わらないこと /nwjaws201909-takipone
takipone
0
1.9k
AWSネイティブなEC/CRMシステム運用に欠かせないログ基盤構築 / cmdevio2018-aws-log-infra
takipone
7
2.8k
日本🇯🇵でAWS Direct Connect を利用する話/akiba-aws-dx
takipone
1
2.3k
CMブートキャンプ(社内勉強会) DNS 第4回 AWSのDNSサービス /cm-dnsstudy-4
takipone
2
19k
Other Decks in Technology
See All in Technology
動画配信サービスのフロントエンド実装に学ぶ設計原則
yud0uhu
0
130
AWS CLIの起動が重くてつらいので aws-sdk-client-go を書いた / kamakura.go#6
fujiwara3
2
1k
Shinagile 2024
kawaguti
PRO
2
120
20240509 CloudWatch でいろいろなものを監視してみよう
masaruogura
1
110
cgroup v2 で何が変わったのか / TechFeed Experts Night #28
tenforward
2
150
Step by Stepで学ぶ、ADT(代数的データ型)、モナドからEffect-TSまで
leveragestech
1
2.8k
#phpconkagawa レガシーコードにもオブザーバビリティを 〜少しずつ始めるサービス監視〜
yamato_sorariku
0
520
Exadata Database Service on Dedicated Infrastructure(ExaDB-D) UI スクリーン・キャプチャ集
oracle4engineer
PRO
2
1.7k
Taking Flight with Tailwind CSS
opdavies
0
4.3k
Kaggleで学ぶ系列データのための深層学習モデリング
yu4u
7
1.7k
試作とデモンストレーション / Prototyping and Demonstrations
ks91
PRO
0
160
Prisma ORMを2年運用して培ったノウハウを共有する
tockn
19
5k
Featured
See All Featured
The MySQL Ecosystem @ GitHub 2015
samlambert
244
12k
Building an army of robots
kneath
300
41k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
352
28k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Happy Clients
brianwarren
92
6.4k
Creatively Recalculating Your Daily Design Routine
revolveconf
211
11k
Code Reviewing Like a Champion
maltzj
515
39k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.9k
Why Our Code Smells
bkeepers
PRO
331
56k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
126
32k
Faster Mobile Websites
deanohume
300
30k
Music & Morning Musume
bryan
41
5.6k
Transcript
re:Inventで刷新された Kinesisファミリー概説 re:Growth 2015 TOKYO AWS re:Invent 復習SP classmethod.jp 1
2015/10/13 @SAPジャパン ⼤瀧隆太 #cmdevio
About me • Ryuta Otaki @takipone • Job title :
AWS Integration Pre-sales/Engineer • Interest : Network / Deployment Tools • Favorite AWS Service Amazon Route 53 classmethod.jp 2
Agenda • Kinesisアップデート概説 – re:Inventのセッション 「(BDT320) New! Streaming Data Flows with
Amazon Kinesis Firehose」 – Slideshareにスライド、Youtubeに動画が公開さ れています。「BDT320 aws」とかで検索すると すぐに⾒つかります。 – セッション再現とかじゃないです、すみません。 • 感想 classmethod.jp 3
classmethod.jp 4 Slideshareを開く
感想1 Firehoseをどう使うか • これからはFirehoseデフォルトで! • S3にファイルアップロードするときにファイ ルの分け⽅とか考えたくない! – ホストが多い、ファイル数が爆発しそうなとき等 • Redshiftへの新たなインポート⼿法
– “可能な限り最速”なアーキテクチャがワンクリッ クで – S3にアップロード→COPYを⼿動でやる場合とベ ンチマークするべき classmethod.jp 5
感想2 Kinesis Streamsは? • でも、Kinesis Streamもオワコンではない! • ラムダアーキテクチャ(not AWS Lambda)を実
装したい! • データアップロードプロセスをカスタマイズし たい! – Amazon ESへのインポートとか • KCL(Kinesis Client Library)が必要なアーキテ クチャはKinesis以外にもある – DynamoDB Streams、CloudWatch Subscriptions、 Cognito Events – AWS Lambdaとの使い分け classmethod.jp 6
感想3 課題 • Kinesis StreamsとFirehoseのAPIに互換性 が無い – FirehoseはStreams APIの簡易版でほとんど⼀緒 なので、Streamsを扱ったことのある⼈であれば 簡単に使えます。
• KinesisにレコードをPutする部分が弱い – API or AWS CLI – [NEW] fluent-plugin-kinesis-firehoseの登場 → 試してみたブログ書きました。 – [NEW] AWS IoTからのメッセージ転送 (Web画⾯には出ないけど、CLIで⾏ける模様) → ブログ書きます!(宣⾔) classmethod.jp 7
SORACOMと組み合わせたいなー • BeamにTLSをオフロードして欲しい! • Kinesis API – AWS V4の署名にHOSTヘッダが含まれるため、 BeamのHOSTヘッダをAWSに書き換える必要あ り。
– BeamにHTTPプロキシ機能が欲しい。 • AWS IoT MQTT API – BeamはMQTTのパスワード認証には対応してい るが、IoTのMQTTはクライアント証明書認証の み。 – MQTTクライアント証明書に対応して欲しい。 classmethod.jp 8
まとめ • FirehoseでKinesisがぐっと⾝近に! • というか、データが多くて⾯倒そう というときはまずFirehoseをかませるのが吉。 • 従来のKinesisはKinesis Streamsに •
Kinesis Analyticsはお預けパターン。 乞うご期待! classmethod.jp 9
• ありがとうございました! classmethod.jp 10