Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
re:Inventで刷新されたKinesisファミリー概説
Search
takipone
October 13, 2015
Technology
0
1.9k
re:Inventで刷新されたKinesisファミリー概説
2015/10/13 re:Growth 2015 TOKYO AWS re:Invent 復習SP
takipone
October 13, 2015
Tweet
Share
More Decks by takipone
See All by takipone
OJTに夢を見すぎていませんか? ロールプレイ研修の試行錯誤/tryanderror-in-roleplaying-training
takipone
1
220
ロールプレイトレーニングでクラウドエンジニアを短期育成した知見を一挙公開 / roll playing training benefits and cases
takipone
0
660
スキル育成に生かすLlamaIndexの活用 /using-llamaIndex-to-enhance-ones-skills
takipone
1
3.4k
DNSにちょっとだけ詳しくなりたい人に贈る少し突っ込んだDNSの話 / devioday1_dns
takipone
2
11k
Amazon VPC Latticeに期待する / look-for-vpc-lattice
takipone
0
1.1k
DevelopersIOのアウトプット文化をハックして人材育成に繋げる話 /deviosapporo2022fall_takipone
takipone
0
980
AWSネットワークリソースをサービスでマルチテナントに 提供するときのスケーラビリティ / nwjaws202112-takipone
takipone
1
760
ネットワークがクラウドに載って変わることと変わらないこと /nwjaws201909-takipone
takipone
0
2.1k
AWSネイティブなEC/CRMシステム運用に欠かせないログ基盤構築 / cmdevio2018-aws-log-infra
takipone
7
3.1k
Other Decks in Technology
See All in Technology
スマートファクトリーの第一歩 〜AWSマネージドサービスで 実現する予知保全と生成AI活用まで
ganota
2
320
Unlocking the Power of AI Agents with LINE Bot MCP Server
linedevth
0
120
Django's GeneratedField by example - DjangoCon US 2025
pauloxnet
0
160
[ JAWS-UG 東京 CommunityBuilders Night #2 ]SlackとAmazon Q Developerで 運用効率化を模索する
sh_fk2
3
460
【NoMapsTECH 2025】AI Edge Computing Workshop
akit37
0
230
Modern Linux
oracle4engineer
PRO
0
160
Firestore → Spanner 移行 を成功させた段階的移行プロセス
athug
1
500
Claude Code でアプリ開発をオートパイロットにするためのTips集 Zennの場合 / Claude Code Tips in Zenn
wadayusuke
5
1.8k
MagicPod導入から半年、オープンロジQAチームで実際にやったこと
tjoko
0
110
データ分析エージェント Socrates の育て方
na0
8
2.7k
Create Ruby native extension gem with Go
sue445
0
130
20250912_RPALT_データを集める→とっ散らかる問題_Obsidian紹介
ratsbane666
0
100
Featured
See All Featured
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
3k
Git: the NoSQL Database
bkeepers
PRO
431
66k
How STYLIGHT went responsive
nonsquared
100
5.8k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Language of Interfaces
destraynor
161
25k
Facilitating Awesome Meetings
lara
55
6.5k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
18
1.1k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
930
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Transcript
re:Inventで刷新された Kinesisファミリー概説 re:Growth 2015 TOKYO AWS re:Invent 復習SP classmethod.jp 1
2015/10/13 @SAPジャパン ⼤瀧隆太 #cmdevio
About me • Ryuta Otaki @takipone • Job title :
AWS Integration Pre-sales/Engineer • Interest : Network / Deployment Tools • Favorite AWS Service Amazon Route 53 classmethod.jp 2
Agenda • Kinesisアップデート概説 – re:Inventのセッション 「(BDT320) New! Streaming Data Flows with
Amazon Kinesis Firehose」 – Slideshareにスライド、Youtubeに動画が公開さ れています。「BDT320 aws」とかで検索すると すぐに⾒つかります。 – セッション再現とかじゃないです、すみません。 • 感想 classmethod.jp 3
classmethod.jp 4 Slideshareを開く
感想1 Firehoseをどう使うか • これからはFirehoseデフォルトで! • S3にファイルアップロードするときにファイ ルの分け⽅とか考えたくない! – ホストが多い、ファイル数が爆発しそうなとき等 • Redshiftへの新たなインポート⼿法
– “可能な限り最速”なアーキテクチャがワンクリッ クで – S3にアップロード→COPYを⼿動でやる場合とベ ンチマークするべき classmethod.jp 5
感想2 Kinesis Streamsは? • でも、Kinesis Streamもオワコンではない! • ラムダアーキテクチャ(not AWS Lambda)を実
装したい! • データアップロードプロセスをカスタマイズし たい! – Amazon ESへのインポートとか • KCL(Kinesis Client Library)が必要なアーキテ クチャはKinesis以外にもある – DynamoDB Streams、CloudWatch Subscriptions、 Cognito Events – AWS Lambdaとの使い分け classmethod.jp 6
感想3 課題 • Kinesis StreamsとFirehoseのAPIに互換性 が無い – FirehoseはStreams APIの簡易版でほとんど⼀緒 なので、Streamsを扱ったことのある⼈であれば 簡単に使えます。
• KinesisにレコードをPutする部分が弱い – API or AWS CLI – [NEW] fluent-plugin-kinesis-firehoseの登場 → 試してみたブログ書きました。 – [NEW] AWS IoTからのメッセージ転送 (Web画⾯には出ないけど、CLIで⾏ける模様) → ブログ書きます!(宣⾔) classmethod.jp 7
SORACOMと組み合わせたいなー • BeamにTLSをオフロードして欲しい! • Kinesis API – AWS V4の署名にHOSTヘッダが含まれるため、 BeamのHOSTヘッダをAWSに書き換える必要あ り。
– BeamにHTTPプロキシ機能が欲しい。 • AWS IoT MQTT API – BeamはMQTTのパスワード認証には対応してい るが、IoTのMQTTはクライアント証明書認証の み。 – MQTTクライアント証明書に対応して欲しい。 classmethod.jp 8
まとめ • FirehoseでKinesisがぐっと⾝近に! • というか、データが多くて⾯倒そう というときはまずFirehoseをかませるのが吉。 • 従来のKinesisはKinesis Streamsに •
Kinesis Analyticsはお預けパターン。 乞うご期待! classmethod.jp 9
• ありがとうございました! classmethod.jp 10