ストリーミングデータをkintoneで取り扱う

ストリーミングデータを kintoneで取り扱う 🤔

目次 1.自己紹介 2.ストリーミングデータとは？ 3.ストリーミングデータを kintoneで取り扱う 4.まとめ

1.自己紹介自己紹介

2.ストリーミングデータとは？今回のお話するのはストリーミングデータの話 https://aws.amazon.com/jp/builders-flash/202311/awsgeek-kinesis-data-streams/

2.ストリーミングデータとは？今回のお話するのはストリーミングデータの話以下の知識がないと理解が難しいかもしれません・kintoneのAPIサービス・AWSのサービス周り（AWS SAA相当の知識) ・データ基盤技術周り

2.ストリーミングデータとは？ストリーミングデータとは？ https://www.nttdata.com/jp/ja/trends/data-insight/2021/101201/ ストリーム(stream)とは、小川、流れ、連続などの意味を持つ英単語で、 ITの分野では連続したデータの流れや、データの送受信や処理を連続的に行うことなどを意味する。

2.ストリーミングデータとは？ストリーミングデータの身近な例（動画サイト） https://www.stream.co.jp/blog/blogpost-13915/ 例：YouTubeのストリーミング配信＞灰色の部分がデータが届いていることを示す

2.ストリーミングデータとは？ストリーミングデータの性質時系列的な意義データストリーム内の個々の要素にはタイムスタンプが含まれています。データストリーム自体に時間的制約があり、特定の期間後にその意義が低下する場合があります。例えば、アプリケーションがユーザーの現在地に基づいてレストランのレコメンデーションを提供するとします。ユーザーの地理的位置情報に基づいてリアルタイムでアクションを実行しなければ、そのデータの意義は失われてしまいます。絶え間ないフローデータストリームに始まりと終わりはありません。必要とされる限り、データを絶え間なく継続的に収集します。例えば、サーバーのアクティビティログは、サーバーが実行されている限り蓄積されます。一意的
時間的制約があるため、データストリームの反復送信は困難です。そのため、正確でリアルタイムのデータ処理が重要になります。残念ながら、ほとんどのストリーミングデータソースでは、再送信のための措置が限られています。非同種性一部のソースは、文字列、数字、および日付などのデータ型とバイナリ型を伴う JSON、Avro、およびコンマ区切り値 (CSV) などの構造化形式での複数の形式でデータをストリーミングする場合があります。ストリーム処理システムには、このようなデータのばらつきを処理する機能が備わっている必要があります。不完全ソースでの一時的なエラーは、ストリーミングされたデータ内の破損または欠落した要素の原因となる場合があります。ストリームの継続的な性質のため、データ整合性を保証することは困難になり得ます。ストリーム処理システムと分析システムには通常、これらのエラーを緩和または最小限化するためのデータ検証用のロジックが含まれています。 https://aws.amazon.com/jp/what-is/streaming-data/

2.ストリーミングデータとは？ストリーミングデータ活用の例（Iotセンサ - AWS）・端末ID ・温度/湿度等のセンサデータ・タイムスタンプなどのセンサデータ・対象端末の登録
・センサデータの分岐 https://aws.amazon.com/jp/blogs/news/new-serverless-streaming-etl-with-aws-glue/ ・センサデータからストリーミングデータの変換（スループット設定）・レイテンシは数ミリ秒でリアルタイムで送信・ストリーミングデータから前処理変換。・変換後データのストレージ・Glueクローラー・カタログによるテーブル定義・S3ストレージデータの取り出し（SQL）

3.ストリーミングデータをkintoneで取り扱うストリーミングデータとkintone ストリーミングデータを、そのまま kintoneへ反映することは難しい。・端末ID ・温度/湿度等のセンサデータ・タイムスタンプなどのセンサデータ https://aws.amazon.com/jp/blogs/news/new-serverless-streaming-etl-with-aws-glue/

3.ストリーミングデータをkintoneで取り扱うストリーミングデータとkintone ストリーミングデータを、そのまま kintoneへ反映することは難しい。 https://www.cybozu.com/jp/service/restrictions.html ・APIのリクエスト制限により、毎秒のデータ送信は不可能(60秒 *60分*24時間 = 86,400)

3.ストリーミングデータをkintoneで取り扱うストリーミングデータをkintoneで扱うための例・データレイク（生データを保管）・データウェアハウス（加工データを保管）・データマート（加工データを保管）としてのkintoneアプリ

3.ストリーミングデータをkintoneで取り扱うデータレイクとしてのkintoneアプリバッファリングの設定ができる＞送信間隔の調整（秒数/サイズ) ※ゼロバッファリングはkintoneの仕様上不可・ストリーミングデータをkintoneAPI の「複数のレコードを登録する」を実行 Kinesis FireHose
Lambda kintone データレイクアプリ注意・Kinesis FireHoseのバッファをkintoneAPIの仕様内で収めること。・kintoneレコード数は100万レコード程度まで。超えた場合はCSVで出力しておくなど。

3.ストリーミングデータをkintoneで取り扱うデータウェアハウス(DWH)としてのkintoneアプリレコードが追加されたらWebhookで APIGateway + Lambdaへ飛ばす kintoneAPIの「単体or複数のレコードを登録する」を実行 Kinesis FireHose
APIGateway ＋ Lambda Lambda kintone データレイクアプリ注意 ※kintone Webhookは1MBを超えるとエラーが発生するのでFirehoseのバッファ部分で調整する必要がある https://jp.cybozu.help/k/ja/app/set_webhook/webhook_logs.html kintone DWHアプリ

3.ストリーミングデータをkintoneで取り扱うデータマートとしてのkintoneアプリ S3 Kinesis FireHose データレイク AWS Glue or RedShft
Lambda kintone データマートアプリ１ Lambda kintone データマートアプリ２ Lambda kintone データマートアプリ３ S3 DWH krewDashboardなどを使用してダッシュボード化して見やすいグラフにしておく。

6.まとめまとめストリーミングデータはレコード自体の量は膨大なので、、、・kintoneで取り扱うならば、見せるデータ(データマート)として変換するのが吉・処理コストが高い部分は、クラウドサービスへ任せるのが吉 ※kintone側のJSで書いてはダメ！（処理能力はクライアント依存なので！）＞kintoneで、できないことはクラウドサービスへ任せよう！

6.まとめ裏まとめ 🤔 これ、無理してkintoneに合わせて作成する必要なくね？異常系のフロー構築が煩雑だし、kintoneの仕様内で構築するのが苦しい。。。＞データ処理周りが手返しが良い例とは言えないのでアプリはデータマートアプリのみ作成するのが良いかもしれない。

6.まとめ裏まとめ Lambdaのバッチ処理、または手動で AthenaからCSVを吐き出して kintoneへ登録 kintone データマートアプリ

ストリーミングデータをkintoneで取り扱う

ストリーミングデータをkintoneで取り扱う

ムラナカ=ゴリラ

More Decks by ムラナカ=ゴリラ

Other Decks in Programming

Featured

Transcript