Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
re:Inventで刷新されたKinesisファミリー概説
Search
Sponsored
·
Ship Features Fearlessly
Turn features on and off without deploys. Used by thousands of Ruby developers.
→
takipone
October 13, 2015
Technology
2k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
re:Inventで刷新されたKinesisファミリー概説
2015/10/13 re:Growth 2015 TOKYO AWS re:Invent 復習SP
takipone
October 13, 2015
Transcript
10 slides
re:Inventで刷新された Kinesisファミリー概説 re:Growth 2015 TOKYO AWS re:Invent 復習SP classmethod.jp 1
2015/10/13 @SAPジャパン ⼤瀧隆太 #cmdevio
About me • Ryuta Otaki @takipone • Job title :
AWS Integration Pre-sales/Engineer • Interest : Network / Deployment Tools • Favorite AWS Service Amazon Route 53 classmethod.jp 2
Agenda • Kinesisアップデート概説 – re:Inventのセッション 「(BDT320) New! Streaming Data Flows with
Amazon Kinesis Firehose」 – Slideshareにスライド、Youtubeに動画が公開さ れています。「BDT320 aws」とかで検索すると すぐに⾒つかります。 – セッション再現とかじゃないです、すみません。 • 感想 classmethod.jp 3
classmethod.jp 4 Slideshareを開く
感想1 Firehoseをどう使うか • これからはFirehoseデフォルトで! • S3にファイルアップロードするときにファイ ルの分け⽅とか考えたくない! – ホストが多い、ファイル数が爆発しそうなとき等 • Redshiftへの新たなインポート⼿法
– “可能な限り最速”なアーキテクチャがワンクリッ クで – S3にアップロード→COPYを⼿動でやる場合とベ ンチマークするべき classmethod.jp 5
感想2 Kinesis Streamsは? • でも、Kinesis Streamもオワコンではない! • ラムダアーキテクチャ(not AWS Lambda)を実
装したい! • データアップロードプロセスをカスタマイズし たい! – Amazon ESへのインポートとか • KCL(Kinesis Client Library)が必要なアーキテ クチャはKinesis以外にもある – DynamoDB Streams、CloudWatch Subscriptions、 Cognito Events – AWS Lambdaとの使い分け classmethod.jp 6
感想3 課題 • Kinesis StreamsとFirehoseのAPIに互換性 が無い – FirehoseはStreams APIの簡易版でほとんど⼀緒 なので、Streamsを扱ったことのある⼈であれば 簡単に使えます。
• KinesisにレコードをPutする部分が弱い – API or AWS CLI – [NEW] fluent-plugin-kinesis-firehoseの登場 → 試してみたブログ書きました。 – [NEW] AWS IoTからのメッセージ転送 (Web画⾯には出ないけど、CLIで⾏ける模様) → ブログ書きます!(宣⾔) classmethod.jp 7
SORACOMと組み合わせたいなー • BeamにTLSをオフロードして欲しい! • Kinesis API – AWS V4の署名にHOSTヘッダが含まれるため、 BeamのHOSTヘッダをAWSに書き換える必要あ り。
– BeamにHTTPプロキシ機能が欲しい。 • AWS IoT MQTT API – BeamはMQTTのパスワード認証には対応してい るが、IoTのMQTTはクライアント証明書認証の み。 – MQTTクライアント証明書に対応して欲しい。 classmethod.jp 8
まとめ • FirehoseでKinesisがぐっと⾝近に! • というか、データが多くて⾯倒そう というときはまずFirehoseをかませるのが吉。 • 従来のKinesisはKinesis Streamsに •
Kinesis Analyticsはお預けパターン。 乞うご期待! classmethod.jp 9
• ありがとうございました! classmethod.jp 10
More Decks by takipone
See All by takipone
OJTに夢を見すぎていませんか? ロールプレイ研修の試行錯誤/tryanderror-in-roleplaying-training
takipone
1
450
ロールプレイトレーニングでクラウドエンジニアを短期育成した知見を一挙公開 / roll playing training benefits and cases
takipone
0
960
スキル育成に生かすLlamaIndexの活用 /using-llamaIndex-to-enhance-ones-skills
takipone
1
4k
DNSにちょっとだけ詳しくなりたい人に贈る少し突っ込んだDNSの話 / devioday1_dns
takipone
2
11k
Amazon VPC Latticeに期待する / look-for-vpc-lattice
takipone
0
1.2k
DevelopersIOのアウトプット文化をハックして人材育成に繋げる話 /deviosapporo2022fall_takipone
takipone
0
1.2k
AWSネットワークリソースをサービスでマルチテナントに 提供するときのスケーラビリティ / nwjaws202112-takipone
takipone
1
870
ネットワークがクラウドに載って変わることと変わらないこと /nwjaws201909-takipone
takipone
0
2.4k
AWSネイティブなEC/CRMシステム運用に欠かせないログ基盤構築 / cmdevio2018-aws-log-infra
takipone
7
3.4k
Other Decks in Technology
See All in Technology
Linuxネットワークスタック進化の軌跡: 過去10年の歩みと最新トレンド
orimanabu
4
750
エンタープライズIAMについて - ID・権限をどう統制するか
oidfj
1
120
「個社」ではなく「業界」の課題を解く AI 対話開発 ー 価値を広げる設計と、価値を守るエンジニアリング ー
ivry_presentationmaterials
3
670
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
250
閉域網でのAPI公開の選択肢全部比較!
takano0131
4
560
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
340
Agent Harnessはどう作る?事例から学ぶAI Agentの設計思想
sergicalsix
0
350
ラクスル会社紹介資料|エンジニア向け / RAKSUL Introduction for Engineers
raksulrecruiting
0
140
cdkdがどんだけ早いか、実際に動かして見てみよう
smt7174
1
130
小さなエージェントから始めてみよう!実践コンテキストエンジニアリング
iwamot
PRO
0
130
個人ASを取得して、自宅Kubernetes上のVMをグローバルIPで公開した話
munenick
0
210
Del vibe coding a un Desarrollo (agéntico) fiable
jcabot
0
160
Featured
See All Featured
SEOcharity - Dark patterns in SEO and UX: How to avoid them and build a more ethical web
sarafernandez
0
330
New Earth Scene 8
popppiees
5
2.9k
Done Done
chrislema
187
17k
Become a Pro
speakerdeck
PRO
31
6.4k
SERP Conf. Vienna - Web Accessibility: Optimizing for Inclusivity and SEO
sarafernandez
2
1.7k
First, design no harm
axbom
PRO
2
1.4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
35
2.6k
GitHub's CSS Performance
jonrohan
1033
470k
How Software Deployment tools have changed in the past 20 years
geshan
3
35k
[SF Ruby Conf 2025] Rails X
palkan
3
1.5k
技術選定の審美眼(2025年版) / Understanding the Spiral of Technologies 2025 edition
twada
PRO
121
130k
Measuring Dark Social's Impact On Conversion and Attribution
stephenakadiri
2
330