生データを最速で取り込むチャレンジ ~LayerXデータ基盤成長物語 part1~ / Building a data infrastructure that captures raw data at the fastest

Slide 1

Slide 1 text

Slide 2

Slide 2 text

2 © 2023 LayerX Inc. 所属バクラク事業部 Platform Engineering部 DevOpsグループマネージャー兼バクラク事業部 Platform Engineering部 Product Securtyグループ兼バクラク事業部機械学習・データ部データグループ ⇐ 今日の人格兼 CTO室 SNS 𝕏 civitaspo 　 civitaspo その他 Embulk Core Team 福岡在住なので福岡のデータコミュニティがあったら誘ってほしいです！！ @civitaspo (きびたすぽ、きびちゃん)

Slide 3

Slide 3 text

3 © 2023 LayerX Inc. バクラクシリーズラインナップ稟議・支払申請・経費精算仕訳・支払処理効率化法人カードの発行・管理帳票保存・ストレージ帳票発行 * 経費精算のSlack連携は申請内容の通知のみ・AIが領収書を５秒でデータ化・スマホアプリとSlack連携あり・領収書の重複申請などミス防止機能・AIが請求書を５秒でデータ化・仕訳・振込データを自動作成・稟議から会計までスムーズに連携・年会費無料で何枚でも発行可・インボイス制度・電帳法対応・すべての決済で1%以上の還元・AIが書類を5秒でデータ化・あらゆる書類の電子保管に対応・電子取引・スキャナ保存に完全対応・帳票の一括作成も個別作成も自由自在・帳票の作成・稟議・送付・保存を一本化・レイアウトや項目のカスタマイズも可能

Slide 4

Slide 4 text

4 © 2023 LayerX Inc. 経理業務を一元管理し、債権・債務に関連する業務を一気通貫でなめらかに連携。経理業務の工数を大幅削減。「バクラク」の特徴会計システムインターネットバンキング (EBシステム) 法人カード支払管理経費精算管理請求書支払管理ワークフローツールの統一経理ツールの統一会計システム・ EBシステム連携一気通貫で連携出張申請取引先申請押印申請契約申請購買申請法人カード利用申請請求書支払申請経費精算申請請求書発行管理保管場所の統一領収書保管受領請求書保管発行帳票保管国税関係書類保管

Slide 5

Slide 5 text

Slide 6

Slide 6 text

6 © 2023 LayerX Inc. このLTの内容をざっくり今年のチャレンジのうち「生データを最速で取り込む基盤づくり」について話します ● バクラクはサービス提供基盤としてAWSを利用しています。 ● 一方、分析基盤としてBigQueryを利用しています。 ● そのため、AWSからBigQueryへのデータ転送が必要です。 ● 今回は、このデータ転送をリアルタイム・ニアリアルタイムで実現する手法をいくつか紹介します。

Slide 7

Slide 7 text

7 © 2023 LayerX Inc. このLTの内容をざっくり「え〜、いまさらデータ転送の話？」「生データの取り込みなんてコモディティ化してるのでは？」 ● そうですね。僕もEmbulkに関わってきたので、それなりにコモディティ化しているのを知っています。 ● 一方、リアルタイム・ニアリアルタイムにデータ転送するのは、まだ難易度が高い状態だと思っています。 ● また、セキュリティを意識する（OIDC接続の徹底、踏み台サーバーを許さない、etc...）と選択肢が更に狭くなると思います。 ● SaaSを利用した場合にかかるコストも無視できません。僕は予算が決まっているならBIツールに投資したほうが事業をドライブできると考えている派閥です。（※ trocco は良い製品ですよ！）

Slide 8

Slide 8 text

8 © 2023 LayerX Inc. このLTの内容をざっくり想定視聴者と得られるもの ● バクラクと同様にサービス提供環境をAWS、データ基盤はGCPという構成の会社に所属している方が、データ転送に関して、良いインサイトが得られると良いなと思っています。 Disclaimer ● まだ開発途中の情報も含みます。（発表に間に合わなかった！）開発途中の情報は開発途中とわかるように表現します。運用後どうなったかは別の機会に発表するのでご期待ください！ ● 実際に資料作って発表練習したら全然時間足りなくてだいぶ削りました。各パートの内容が想像以上にあっさりしてるように感じるかもしれません。僕も発表し足りません。ので、X（Twitter）でもDMでもなんでも良いのでお話しましょう！

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

14 © 2023 LayerX Inc. EventBridge➧…➧Cloud Pub/Sub➧BigQueryパターンどんな構成？ ● EventBridgeに格納されたイベントをフィルターしてSQSに格納したのち、EventBridge Pipesを利用してCloud Pub/Subへ格納。その後、BigQuery Subscriptionを使ってBigQueryへデータ格納するパターン。 ● この構成の最大の特徴はComputing Resourceが不要なこと。 ● バクラクではマイクロサービス間のイベントのやりとりでEventBridgeを利用しており、分析関連イベントに関しても同様にEventBridgeに格納してもらっている。 EventBridge Pipes States.Base64Encodeで Cloud Pub/Sub用のBodyを作る BigQuery Subscription Amazon Simple Queue Service (Amazon SQS) Amazon EventBridge AWS Fargate AWS Step Functions Google Cloud Pub/Sub Google Cloud BigQuery

Slide 15

Slide 15 text

15 © 2023 LayerX Inc. EventBridge➧…➧Cloud Pub/Sub➧BigQueryパターン何が嬉しいの？ ● EventBridgeは様々なSaaSと連携できます ○ https://aws.amazon.com/eventbridge/integrations/ ○ SalesforceやKARTEなど、パートナーとして登録されているサービスはSaaSの変更イベントを受け取って分析ができるようになります。 ● 自前でイベントを受け付けるエンドポイントを書くのも容易です。 ○ AWSがいくつかテンプレートを用意してくれています。 ○ https://aws.amazon.com/about-aws/whats-new/2022/08/amazon-eventbridg e-supports-receiving-events-github-stripe-twilio-using-webhooks/ ○ GitHubのイベントを受け付けてFour Keys分析したいといった要望にもWebhookを受け付けるエンドポイントをテンプレートに沿って実装するだけで対応できます。

Slide 16

Slide 16 text

16 © 2023 LayerX Inc. EventBridge➧…➧Cloud Pub/Sub➧BigQueryパターン注意点 ● Step Functionsの States.Base64Encode は10,000文字までしか処理できない制約があるため、大きなデータを取り扱う場合はAWS Lambda等で処理する必要があります。 ○ https://docs.aws.amazon.com/step-functions/latest/dg/amazon-states-langu age-intrinsic-functions.html#asl-intrsc-func-data-encode-decode

Slide 17

Slide 17 text

Slide 18

Slide 18 text

18 © 2023 LayerX Inc. S3➧…➧GCS➧…➧Cloud Workflows➧BigQueryパターンどんな構成？ ● S3のPutObject EventをSQSに通知し、Cloud Storage Transfer ServiceのEvent-driven data transfer機能を用いて、GCSへオブジェクトをコピー。その後、GCSのfinalized Eventを EventArcで取得し、Cloud WorkflowsでBigQuery Load Jobを実行するパターン。 ● この構成もComputing Resourceが不要。 ● バクラクではDatadogのLog ArchiveをS3に保存しており、Datadogに格納されたあらゆるログを BigQueryに格納するために利用している。 s3:PutObject Event Watch google.cloud.storage .object.v1.finalized Trigger Load Job Object取得 Load後削除 GCP to AWSのOIDC接続 Google Cloud BigQuery Amazon Simple Storage Service (Amazon S3) Amazon Simple Queue Service (Amazon SQS) Google Cloud Storage Transfer Service Google Cloud Storage Eventarc Google Cloud Workflows

Slide 19

Slide 19 text

19 © 2023 LayerX Inc. S3➧…➧GCS➧…➧Cloud Workflows➧BigQueryパターン何が嬉しいの？ ● S3にオブジェクトをPutしてから1分以内にBigQueryへデータ格納、を非常に安く実現できる。 ○ この構成でコストがかかるのはS3のインターネットアウトとCloud Workflowsのみ ■ S3のインターネットアウトはどんな手法をとってもかかるので割愛 ■ Cloud Workflowsに関しては1オブジェクトあたり3Steps程度必要なので、仮に10万オブジェクトを転送したとしても(10万×3Steps/1000Steps)×$0.01 = $3 ■ https://cloud.google.com/workflows/pricing#price-tables ■ 一時的にGCSにオブジェクトが置かれるがBigQuery Load後に消すのでコストはほぼ誤差。

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

22 © 2023 LayerX Inc. Debezium with Beam on Managed Flinkパターンどんな構成？ ● Apache BeamのI/O ConectorとしてDebeziumを使用し、BigQueryにデータ格納するパターン。 ● Debezium ServerやKafka/Kafka Connectの運用が不要。 ● 代わりにAmazon Managed Service for Apache Flinkの運用が必要になる。 ● Apache Beamの資産を使えるため、BigQueryへのデータ転送以外の用途にも利用可能。 ● Under Construction 　なので詳細割愛します！！！ Amazon Managed Service for Apache Flink Amazon Aurora Google Cloud BigQuery

Slide 23

Slide 23 text

Slide 24

Slide 24 text

24 © 2023 LayerX Inc. 俺たちの戦いはこれからだ！もっと事業貢献できるデータ組織にしたい！助けてください！ ● 弊社では「全員アナリスト」として活躍できるデータ基盤を作ろうと頑張っています ● まだまだやりたいことがたくさんあって、特にアナリティクスエンジニア・アナリストは大募集中です ● ホントに大募集中です ● 少しでも興味を持たれた方はぜひカジュアル面談にいらしてください！ ○ 全員アナリストを実現する Data Enablingを支えるData Engineeringについて語らいましょう〜〜！！！ ○ X(Twitter) DMで連絡してもらっても構いません！ ● よろしくお願いします！！！！！