バクラクのデータ基盤をBigQueryからSnowflakeへ移管した理由 / The reason for migrating Bakuraku data infrastructure from BigQuery to Snowflake

2024-11-22に開催した『 【Snowflake九州ユーザー会】九州のSnowflake導入企業5社による導入事例紹介！』の登壇資料です。
https://techplay.jp/event/963152

Transcript

1. © LayerX Inc. バクラクのデータ基盤を BigQueryからSnowflakeへ移管した理由 2024/１１/22 @civitaspo 【Snowflake九州ユーザー会】九州のSnowflake導入企業5社による導入事例紹介！
2. © LayerX Inc. 2 バクラク事業部 機械学習・データ部 DataOps チーム 兼 Platform Engineering部 DevOps チーム DataOps/DevSecOps/MLOps が大好きなエンジニア Snowflake九州ユーザーグループ主宰 Snowflake Squad ２０２４ SNS 𝕏 civitaspo 　 civitaspo その他 画像を入れてね 自己紹介 civitaspo （ｷﾋﾞﾀｽﾎﾟ、きびちゃん）
3. 3 © LayerX Inc. 「すべての経済活動を、デジタル化する。」をミッションに掲げ、 法人支出管理サービス「バクラク」や企業内業務のデジタル化を支援するサービスを提供しています。 事業紹介 バクラク事業 企業活動のインフラとなる法人支出 管理（BSM）SaaSを開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメ ント・証券事業を合弁会社にて展開 AI・LLM事業 文書処理を中心とした、LLMの活用による プロセスのリデザイン
4. © LayerX Inc.　 4 「バクラク」シリーズラインナップ ‧AIが請求書を５秒でデータ化 ‧仕訳 / 振込データを⾃動作成 ‧電帳法‧インボイス制度にも対応 仕訳‧⽀払処理効率化 ‧年会費無料で何枚でも発⾏可 ‧カード利⽤制限で統制を実現 ‧すべての決済で1%以上の還元 法⼈カードの発⾏‧管理 ‧帳票の⼀括作成も個別作成も⾃由⾃在 ‧帳票の作成‧稟議‧送付‧保存を⼀本化 ‧レイアウトや項⽬のカスタマイズも可能 請求書発⾏ ‧スキャナ保存データも直接取込  ‧AI-OCRが⾃動読取＆データ化 ‧[取引先][取引⽇][取引⾦額]での検索 帳票保存‧ストレージ ‧AIが⾒積書‧請求書を５秒でデータ ‧スマホからも申請‧承認OK ‧柔軟な通知設定‧承認の催促機能 稟議‧⽀払申請 ‧直感的UIで従業員の負担を軽減 ‧Slack連携で打刻や⾃動リマインド可能 ‧わかりやすい残業 / 休暇管理レポート 勤怠管理 ‧AIが領収書を5秒でデータ化 ‧スマホアプリとSlack連携あり ‧領収書の重複申請などミス防⽌機能 経費精算
5. 今日話す内容
6. © LayerX Inc. 6 どうしてバクラクはBigQueryからSnowflakeへ移管したの？ 今日話す内容 202２/04〜 2024/0４〜 2024/0９〜 Snowflake 大活用時代 Snowflakeへの移管を決めたタイミングで抱えていた課題や思想について話します ref. BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestion編〜 - Speaker Deck
7. 目次 Agenda • BigQueryで抱えていた課題 • データ基盤の理想像 • Snowflakeを選択した理由
8. Disclaimer
9. © LayerX Inc. 9 • BigQueryからSnowflakeへ移管した話をしますが、「BigQueryからSnowflakeへ移行すべき」と いう意図・主張は込めていません。 • 会社の状況によってはBigQueryを選択すべきケースもありますし、DatabricksやAmazon Athenaを選ぶべきケースもあります。 • あくまで一例として捉えていただけると嬉しいです。 Disclaimer おことわり
10. BigQueryで抱えていた課題
11. © LayerX Inc. 11 • 保有データ量が少ないうちはスキャン量課金はコスト効率が良い • が、保有データ量が増えるにつれ、コストコントロールの難易度が上がっていった ◦ 例: 想定外の大量スキャン、長期間集計の増加 • 半年〜１年程度で BigQuery Editions※ への移行が必要な状況だった コストコントロールの難化 BigQueryで抱えていた課題 ※ Understand BigQuery editions | Google Cloud BigQuery Editions 移行検討をきっかけに 現行データ基盤をゼロベースで再評価してみることに
12. © LayerX Inc. 12 • バクラクのインフラはAWS <> データ基盤のみがGoogle Cloud • 両クラウド間のデータ転送ではクラウドプロバイダーが用意したエコシステムを利用できないため、デー タ転送パイプラインは自前で構築する必要があった • データ転送パイプラインの構築に両クラウドに精通した人材が必要となり、採用面でも困難な状況に。 クラウドプロバイダーの不一致 BigQueryで抱えていた課題 データパイプライン構築・運用の工数が増大、人材採用も困難 => スタートアップの急成長を支えるデータ基盤として、この制約は看過できないのでは？
13. © LayerX Inc. 13 BigQueryで要求を満たし続ける費用対効果の悪化 BigQueryで抱えていた課題 非エンジニアだけ要求を満たせないので、データエンジニアが施策のボトルネックに。 Cloud Data Transfer Security Command Center Storage Transfer Service Vertex AI Cloud Functions Cloud Run Pub/Sub Dataproc Google Kubernetes Engine Virtual Private Cloud Cloud NAT Workflows Cloud Scheduler Identity-Aware Proxy ※ Preventing data theft with GCP service controls - Tempered Works Ltd.
14. データ基盤の理想像
15. © LayerX Inc. 15 • データ活用の要件を持っている人が自身で安全かつ容易に施策を実施できる • コストコントロールがしやすく、パフォーマンスを維持した最適化 が可能 • 事業成長を支援する拡張性の高いデータ基盤 etc… バクラクにとって理想のデータ基盤はどのような形か データ基盤の理想像
16. Snowflakeを選択した理由
17. © LayerX Inc. 17 • データを中心として、周辺領域（ComputeやSecurity、AIなど）の機能を単一プロダクトとして提供 • この周辺領域のカバー範囲が非常に広く、機能が豊富 • そして、単一プロダクトとして一貫した開発体験を提供しているので、特に利用者にとっては高速な施 策実施が可能になります。 単一プロダクトとしての完成度の高さ Snowflakeを選択した理由 ref. 現地参加して良かった！Snowflake Data Cloud Summit 2024！ - LayerX エンジニアブログ
18. © LayerX Inc. 18 • 弊社のデータ基盤利用者はたとえ非エンジニアでもSQLは書ける！ • ので、SQLで操作可能な範囲が広がると利用者自身でできることが増える。 • SnowflakeはSQLで様々な機能を簡単に実行可能なので自発的な施策実施が可能になります SQLというインターフェースの力 Snowflakeを選択した理由
19. © LayerX Inc. 19 • SnowflakeはAWS上に構築することができます • なので、AWSをメインに使用するバクラクと相性が良いです • たとえば、 ◦ 同一リージョン内のAmazon S3とのデータ転送が無料 ◦ Data FirehoseがSnowflakeへのデータ転送用専用ソリューションを提供 AWSとの親和性 Snowflakeを選択した理由
20. © LayerX Inc. 20 • Snowflake Marketplaceによる機能拡張性 • コミュニティが活発、かつ、Snowflake社もコミュニティを大切にしている • など その他 Snowflakeを選択した理由
21. おわり
22. © LayerX Inc. 22 今回 BigQuery から Snowflake に移管した理由をお話しました。 今回話した内容の詳細は、後日ブログとして公開予定です。 もし今日の話を聞いて「面白そうなやつだ」と思ったら x.com/civitaspo のフォローをお願いします！ もし今日の話を聞いて「もっと話したい！」と思ったら「civitaspo layerx カジュアル面談」で検索！検索！ ご視聴ありがとうございました！ おわりだよ〜 おわり