Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
re:Inventで刷新されたKinesisファミリー概説
Search
takipone
October 13, 2015
Technology
0
1.8k
re:Inventで刷新されたKinesisファミリー概説
2015/10/13 re:Growth 2015 TOKYO AWS re:Invent 復習SP
takipone
October 13, 2015
Tweet
Share
More Decks by takipone
See All by takipone
OJTに夢を見すぎていませんか? ロールプレイ研修の試行錯誤/tryanderror-in-roleplaying-training
takipone
1
140
ロールプレイトレーニングでクラウドエンジニアを短期育成した知見を一挙公開 / roll playing training benefits and cases
takipone
0
610
スキル育成に生かすLlamaIndexの活用 /using-llamaIndex-to-enhance-ones-skills
takipone
1
3.3k
DNSにちょっとだけ詳しくなりたい人に贈る少し突っ込んだDNSの話 / devioday1_dns
takipone
2
11k
Amazon VPC Latticeに期待する / look-for-vpc-lattice
takipone
0
1.1k
DevelopersIOのアウトプット文化をハックして人材育成に繋げる話 /deviosapporo2022fall_takipone
takipone
0
960
AWSネットワークリソースをサービスでマルチテナントに 提供するときのスケーラビリティ / nwjaws202112-takipone
takipone
1
730
ネットワークがクラウドに載って変わることと変わらないこと /nwjaws201909-takipone
takipone
0
2.1k
AWSネイティブなEC/CRMシステム運用に欠かせないログ基盤構築 / cmdevio2018-aws-log-infra
takipone
7
3.1k
Other Decks in Technology
See All in Technology
Whats_new_in_Podman_and_CRI-O_2025-06
orimanabu
3
180
Rubyで作る論理回路シミュレータの設計の話 - Kashiwa.rb #12
kozy4324
1
310
「どこにある?」の解決。生成AI(RAG)で効率化するガバメントクラウド運用
toru_kubota
2
430
産業機械をElixirで制御する
kikuyuta
0
170
讓測試不再 BB! 從 BDD 到 CI/CD, 不靠人力也能 MVP
line_developers_tw
PRO
0
220
ゆるSRE #11 LT
okaru
1
640
Web3 のリアリティ / Web3 Reality
ks91
PRO
0
100
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
7.4k
IAMのマニアックな話 2025を執筆して、 見えてきたAWSアカウント管理の現在
nrinetcom
PRO
4
580
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
17k
“プロダクトを好きになれるか“も QAエンジニア転職の大事な判断基準だと思ったの
tomodakengo
0
140
生成AIをテストプロセスに活用し"よう"としている話 #jasstnano
makky_tyuyan
0
170
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
24
1.7k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.3k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.2k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
How to Ace a Technical Interview
jacobian
276
23k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.8k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
107
19k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.6k
Building an army of robots
kneath
306
45k
Transcript
re:Inventで刷新された Kinesisファミリー概説 re:Growth 2015 TOKYO AWS re:Invent 復習SP classmethod.jp 1
2015/10/13 @SAPジャパン ⼤瀧隆太 #cmdevio
About me • Ryuta Otaki @takipone • Job title :
AWS Integration Pre-sales/Engineer • Interest : Network / Deployment Tools • Favorite AWS Service Amazon Route 53 classmethod.jp 2
Agenda • Kinesisアップデート概説 – re:Inventのセッション 「(BDT320) New! Streaming Data Flows with
Amazon Kinesis Firehose」 – Slideshareにスライド、Youtubeに動画が公開さ れています。「BDT320 aws」とかで検索すると すぐに⾒つかります。 – セッション再現とかじゃないです、すみません。 • 感想 classmethod.jp 3
classmethod.jp 4 Slideshareを開く
感想1 Firehoseをどう使うか • これからはFirehoseデフォルトで! • S3にファイルアップロードするときにファイ ルの分け⽅とか考えたくない! – ホストが多い、ファイル数が爆発しそうなとき等 • Redshiftへの新たなインポート⼿法
– “可能な限り最速”なアーキテクチャがワンクリッ クで – S3にアップロード→COPYを⼿動でやる場合とベ ンチマークするべき classmethod.jp 5
感想2 Kinesis Streamsは? • でも、Kinesis Streamもオワコンではない! • ラムダアーキテクチャ(not AWS Lambda)を実
装したい! • データアップロードプロセスをカスタマイズし たい! – Amazon ESへのインポートとか • KCL(Kinesis Client Library)が必要なアーキテ クチャはKinesis以外にもある – DynamoDB Streams、CloudWatch Subscriptions、 Cognito Events – AWS Lambdaとの使い分け classmethod.jp 6
感想3 課題 • Kinesis StreamsとFirehoseのAPIに互換性 が無い – FirehoseはStreams APIの簡易版でほとんど⼀緒 なので、Streamsを扱ったことのある⼈であれば 簡単に使えます。
• KinesisにレコードをPutする部分が弱い – API or AWS CLI – [NEW] fluent-plugin-kinesis-firehoseの登場 → 試してみたブログ書きました。 – [NEW] AWS IoTからのメッセージ転送 (Web画⾯には出ないけど、CLIで⾏ける模様) → ブログ書きます!(宣⾔) classmethod.jp 7
SORACOMと組み合わせたいなー • BeamにTLSをオフロードして欲しい! • Kinesis API – AWS V4の署名にHOSTヘッダが含まれるため、 BeamのHOSTヘッダをAWSに書き換える必要あ り。
– BeamにHTTPプロキシ機能が欲しい。 • AWS IoT MQTT API – BeamはMQTTのパスワード認証には対応してい るが、IoTのMQTTはクライアント証明書認証の み。 – MQTTクライアント証明書に対応して欲しい。 classmethod.jp 8
まとめ • FirehoseでKinesisがぐっと⾝近に! • というか、データが多くて⾯倒そう というときはまずFirehoseをかませるのが吉。 • 従来のKinesisはKinesis Streamsに •
Kinesis Analyticsはお預けパターン。 乞うご期待! classmethod.jp 9
• ありがとうございました! classmethod.jp 10