re:Inventで刷新されたKinesisファミリー概説

Ecd0c945f6911dbf75358a8addee15f7?s=47 takipone
October 13, 2015

 re:Inventで刷新されたKinesisファミリー概説

2015/10/13 re:Growth 2015 TOKYO AWS re:Invent 復習SP

Ecd0c945f6911dbf75358a8addee15f7?s=128

takipone

October 13, 2015
Tweet

Transcript

  1. re:Inventで刷新された Kinesisファミリー概説 re:Growth 2015 TOKYO AWS re:Invent 復習SP classmethod.jp 1

    2015/10/13 @SAPジャパン ⼤瀧隆太 #cmdevio
  2. About me •  Ryuta Otaki @takipone •  Job title :

    AWS Integration Pre-sales/Engineer •  Interest : Network / Deployment Tools •  Favorite AWS Service Amazon Route 53 classmethod.jp 2
  3. Agenda •  Kinesisアップデート概説 – re:Inventのセッション 「(BDT320) New! Streaming Data Flows with

    Amazon Kinesis Firehose」 – Slideshareにスライド、Youtubeに動画が公開さ れています。「BDT320 aws」とかで検索すると すぐに⾒つかります。 – セッション再現とかじゃないです、すみません。 •  感想 classmethod.jp 3
  4. classmethod.jp 4 Slideshareを開く

  5. 感想1 Firehoseをどう使うか •  これからはFirehoseデフォルトで! •  S3にファイルアップロードするときにファイ ルの分け⽅とか考えたくない! – ホストが多い、ファイル数が爆発しそうなとき等 •  Redshiftへの新たなインポート⼿法

    – “可能な限り最速”なアーキテクチャがワンクリッ クで – S3にアップロード→COPYを⼿動でやる場合とベ ンチマークするべき classmethod.jp 5
  6. 感想2 Kinesis Streamsは? •  でも、Kinesis Streamもオワコンではない! •  ラムダアーキテクチャ(not AWS Lambda)を実

    装したい! •  データアップロードプロセスをカスタマイズし たい! –  Amazon ESへのインポートとか •  KCL(Kinesis Client Library)が必要なアーキテ クチャはKinesis以外にもある –  DynamoDB Streams、CloudWatch Subscriptions、 Cognito Events –  AWS Lambdaとの使い分け classmethod.jp 6
  7. 感想3 課題 •  Kinesis StreamsとFirehoseのAPIに互換性 が無い – FirehoseはStreams APIの簡易版でほとんど⼀緒 なので、Streamsを扱ったことのある⼈であれば 簡単に使えます。

    •  KinesisにレコードをPutする部分が弱い – API or AWS CLI – [NEW] fluent-plugin-kinesis-firehoseの登場 → 試してみたブログ書きました。 – [NEW] AWS IoTからのメッセージ転送 (Web画⾯には出ないけど、CLIで⾏ける模様) → ブログ書きます!(宣⾔) classmethod.jp 7
  8. SORACOMと組み合わせたいなー •  BeamにTLSをオフロードして欲しい! •  Kinesis API – AWS V4の署名にHOSTヘッダが含まれるため、 BeamのHOSTヘッダをAWSに書き換える必要あ り。

    – BeamにHTTPプロキシ機能が欲しい。 •  AWS IoT MQTT API – BeamはMQTTのパスワード認証には対応してい るが、IoTのMQTTはクライアント証明書認証の み。 – MQTTクライアント証明書に対応して欲しい。 classmethod.jp 8
  9. まとめ •  FirehoseでKinesisがぐっと⾝近に! •  というか、データが多くて⾯倒そう というときはまずFirehoseをかませるのが吉。 •  従来のKinesisはKinesis Streamsに • 

    Kinesis Analyticsはお預けパターン。 乞うご期待! classmethod.jp 9
  10. •  ありがとうございました! classmethod.jp 10