Snowflake導入から1年、LayerXのデータ活用の現在 / One Year into Snowflake: How LayerX Uses Data Today

by Civitaspo

Slide 1

Slide 1 text

Slide 2

Slide 2 text

⾃⼰紹介

Slide 3

Slide 3 text

Slide 4

Slide 4 text

会社紹介

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© LayerX Inc. 9 会社紹介バクラク債権管理、「⼊⾦消込エージェント」を提供開始。⽇々のログイン不要で⼊⾦確認から消込まで⾃動化差し戻しゼロへ。バクラク、AIエージェント「AI申請レビュー」をリリース。 AIが⾃社の規程‧ルールに基づき経費精算申請を即時レビュー LayerX、「バクラクAIエージェント」の新機能として「領収書分割エージェント」を提供開始 AIエージェント「AI明細仕訳」をリリース。明細OCR×⽣成AIで、明細⾏が多い‧ 毎回取引内容が変わる請求書の処理を⾃動化。 - バクラク

Slide 10

Slide 10 text

はじめに

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© LayerX Inc. 12 セキュリティ導⼊時にSnowﬂakeへ抱いていた期待 AWSとの親和性進化し続ける基盤セルフサービス化はじめに出典: Google BigQueryからSnowﬂakeへ。バクラクのデータ基盤技術移管事例 - Findy Tools AWS上のデータをシンプルなパイプラインで SQLだけで多くの機能を利⽤可能最⼩限のガードレールで安全に強⼒なエコシステムと⾼速なリリースサイクル

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© LayerX Inc. 14 AI Agent開発基盤 AIプロダクトのPoCやバックテストの基盤として利⽤されるように我々のデータ基盤に期待以上の変化が起きたセルフサービス化の定着エンジニア‧⾮エンジニア問わず、⾃発的にデータを使った施策を実施できるようにデータプロダクトのリリースプロダクト機能としてデータ基盤が組み込まれるようにビジネスプロセスへの組み込みデータが分析の域を超え、営業‧CS‧契約管理など⽇々の業務フローに組み込まれるようにはじめに

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

⽬次 Agenda ● 現在のデータ基盤 ● データ基盤に起こった変化 ● なぜ変化が起こったのか

Slide 18

Slide 18 text

現在のデータ基盤

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© LayerX Inc. 20 ● 主なデータソースは、データベース、ログ、SaaS ● コスト削減や重要データの品質を柔軟にコントロールできるよう AWS/Snowflakeの機能のみで構築している ● 今後は、施策ごとに増える様々なデータに対して、他社との競合優位性を持てるデータ以外はData Ingestion SaaSまたは Snowflake Openflowを導⼊し、施策のスケーラビリティを担保 ● AI Agentにとって重要となりうる⾮構造化データの取り扱いが課題となるだろう Data Source / Extraction / Processing 現在のデータ基盤

Slide 21

Slide 21 text

© LayerX Inc. 21 ● Data Transformはdbtのみで⾏っている ● データの可視化は主に3つのツールを利⽤している ○ Streamlit in Snowﬂake ○ Looker Studio ○ Google Sheets ● バクラクプロダクトからはデータベースワークロードのオフロード先として使⽤されている ● SalesforceやZendeskへの書き込みはdbt管理下のSnowparkによって⾏われている Transform / Data Warehouse / AI / BI / BizOps / etc… 現在のデータ基盤

Slide 22

Slide 22 text

Slide 23

Slide 23 text

© LayerX Inc. 23 ● データベースのChange Data CaptureをDebeziumで取得 ● Managed Streaming for Apache Kafkaを経て、Snowflakeへ ● 公式Connectorであるgithub.com/snowflakedb/snowflake-kafka-connectorはSnowpipe Streaming V2もサポートしており、データベースへの書き込みから1分以内に書込完了 ● リアルタイム性を担保したことで、様々な業務フロー組み込みが加速プロダクトデータベースのニアリアルタイム連携現在のデータ基盤出典: 『AI Agentのビジネス価値を計るバックテスト基盤の構築』を⽀えるSnowflake上での任意時点のスナップショット取得を実現するデータパイプライン - LayerX エンジニアブログ

Slide 24

Slide 24 text

© LayerX Inc. 24 ● 様々なデータベースからCDCを取得するOSS ○ MySQLの場合は binlog から ○ PostgreSQLの場合は WAL から ● Kafka Connectを使⽤している場合は Exactly-Once Semantics で動作させることが可能なため、重複や⽋損なくデータを Kafka に吸い出せる。 ● 内部的には、binlog のファイル名とpos/row をKafka Connectのメモリ上で管理し、毎回確認することで重複‧⽋損を防いでいる。補⾜: Debezium 現在のデータ基盤参考: Debezium

Slide 25

Slide 25 text

© LayerX Inc. 25 ● SnowﬂakeでStreaming Data Ingestionを実現する機能 ● 2025/09/23にV2がGAし、テーブルあたり10GB/sのスループットが出る ● 書き込みから読み出せるようになるまで5~10秒程度補⾜: Snowpipe Streaming V2 現在のデータ基盤参考: https://docs.snowﬂake.com/en/user-guide/snowpipe-streaming/snowpipe-streaming-high-performance-overview

Slide 26

Slide 26 text

© LayerX Inc. 26 ● Snowflake AlertやSnowflake Stored Procedureなど、業務フロー構築に必要なSnowflake Object を統⼀的に dbt で管理 ● 公式サポート外のSnowflake ObjectはdbtのCustom Materializationを実装 ● 単⼀のリポジトリで全て管理することで、模倣しやすく、AIの補助も受けやすい状態に。業務フロー構築に必要なほぼ全てのSnowflake Objectをdbt管理現在のデータ基盤参考: https://github.com/civitaspo/dbt-snowflake-materializations

Slide 27

Slide 27 text

© LayerX Inc. 27 ● Looker StudioやGoogle SheetsからSnowflakeアクセス可能なコネクタを公式は提供していない ● データ基盤利⽤者の慣れ親しんだツールでデータを触れるようコネクタを⾃作 Looker Studio / Google Sheets向けコネクタの⾃作現在のデータ基盤出典: Looker StudioからSnowflakeのデータを取得するアドオン開発について - LayerX エンジニアブログ出典: Google SheetsからSnowflakeのデータを取得するアドオンの開発について - LayerX エンジニアブログ

Slide 28

Slide 28 text

データ基盤に起こった変化

Slide 29

Slide 29 text

© LayerX Inc. 29 ● エンジニア‧⾮エンジニア問わず、Streamlit in SnowflakeやSnowflake Alert、Google Sheetsを使って⾃らデータ施策を実⾏ ● コードを書く必要がある Streamlit も、AI Agentの補助で誰でも使いこなせるようにセルフサービス化の定着データ基盤に起こった変化出典: ⼈事が Streamlit in Snowflake で⽣成AIアプリケーションを社内向けに作った話｜宮本純弥｜LayerX 社内のStreamlit in Snowflakeアプリケーションをまとめるページ

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© LayerX Inc. 33 ● AI AgentのPoCやバックテストにデータ基盤が利⽤されている ● AI Agentの開発には本番環境のデータが必要不可⽋だが、Snowﬂakeで開発するとデータが外部に出ず開発が完結するためセキュア ● Snowpark Container Service(SPCS)を使うことで、簡単に複数⼈で触れるアプリケーションがデプロイ出来る AI Agent開発基盤として進化データ基盤に起こった変化出典: 嗚呼、当時の本番環境の状態で AI Agentを再評価したいなぁ... / Ah, I wish I could re-evaluate the AI Agent in the production environment it was in back then... - SpeakerDeck

Slide 34

Slide 34 text

Slide 35

Slide 35 text

なぜ変化が起こったのか

Slide 36

Slide 36 text

© LayerX Inc. 36 ● Snowﬂake導⼊時は、社内ドキュメント整備が最重要と考え、⼤量の情報発信を⾏った ● 毎⽇SnowﬂakeのユースケースやTipsを発信し、知識を共有 ● 「どう使えばいいか分からない」をなくし、利⽤ハードルを徹底的に下げ、現場主導の活⽤を促進 ● 地味だが最も効果のあった、基盤浸透の起点となった施策社内向けに⼤量の情報発信なぜ変化が起こったのか社内向けに展開された記事群の⼀部

Slide 37

Slide 37 text

© LayerX Inc. 37 ● 社内には、気づかないところでデータ基盤の使い⽅に苦戦している⼈がいる ● その声を拾うために、SlackのPublic ChannelでSnowﬂake やデータ基盤関連の会話を常時モニタリング ● 困っている⼈がいればすぐ⽀援に⼊り、リアルタイムで課題を解消 ● 苦しい体験を減らし、前向きにデータ基盤‧データ活⽤へ向き合える空気を作った徹底的なデータ基盤利⽤サポートなぜ変化が起こったのか僕が「Snowﬂake」というワードに反応することを気づいたエンジニアたち

Slide 38

Slide 38 text

© LayerX Inc. 38 ● LayerXには「Bet AI」という⾏動指針があり、AI技術に組織的‧戦略的に集中することを掲げている ● 全社員がAIを使いこなすことを⽬指し、部⾨間でAI活⽤格差を⽣まない取り組みを推進 ● データ基盤の利⽤促進、特に⾮エンジニア層への広がりにAIが⼤きく貢献 ● Bet AIの思想があったからこそ、AI×データ基盤の変化が社内全体の動きとして加速した Bet AIという⾏動指針 / 会社のOS なぜ変化が起こったのか⾏動指針を「Bet AI」にアップデート。AIをフル活⽤し、AIの社会実装を加速 / ニュース / 株式会社LayerX ⽣成AI活⽤の組織格差を解消する〜ビジネス職のCursor導⼊が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption - Speaker Deck

Slide 39

Slide 39 text

おわりに

Slide 40

Slide 40 text

© LayerX Inc. 40 ● 本発表では、バクラクのデータ基盤に起きた変化についてお話しました。 ● 各⼈員がセルフサービスで⾃律的にデータ施策を実⾏できるようになっており、データは分析のためだけでなく、⽇々の業務やプロダクトを動かす原動⼒へ変化してきています。 ● LayerXの⾏動指針の⼀つである Bet AI と、Snowﬂakeという柔軟で拡張性の⾼い基盤の存在が、全員がデータとAIで事業を動かすという状態を後押ししました。事業を"⾒る"ためのものから、事業を"動かす"ものへ。おわりに