はじめの一歩_Fivetran編.pdf

Transcript

1. Fivetran はじめの一歩 データアナリティクス事業本部
2. 自己紹介 sho データアナリティクス事業本部所属 プリセールス・テクニカルサポート 2
3. 本日お話すること • Fivetranの概要 • Fivetranを使ったデモ • Salesforce×Fivetran×Snowflake×Looker • Fivetranの事例紹介 • Fivetranの料金プラン 3
4. 本日お話しないこと • Fivetranの詳細な費用 • Salesforce・Snowflake・Lookerに関する機能 4
5. Fivetranって？
6. Fivetranとは？ データウェアハウス データソース BIツール Load Transform Extract • データパイプラインサービス 様々なデータソースからデータを抽出し、 データウェアハウス(データベース)への ロードを自動化することができるサービス データウェアハウスにデータを集約することを 可能にするツール
7. どのようなデータソースに接続できるの？
8. Apps Databases Events Files Functions • Adobe Analytics • AdRoll • Amplitude • Anaplan • Apache Kafka • Apple Search Ads • AppsFlyer • Asana • Bing Ads • Braintree Payments • Braze • Campaign Manager • Comm100 • Criteo • Desk.com • Eloqua • Facebook Ad Account • Facebook Ad Insights • Fivetran Log Connector • Freshdesk • Front • GitHub • Google Ad Manager • Google Ads • Google Analytics • Google Analytics 360 • Google Play • Google Search Console • Greenhouse • Heap • Help Scout • DynamoDB • MariaDB • MongoDB • MySQL • Oracle • PostgreSQL • SQL Server • Segment • Snowplow • Webhooks • Amazon Cloudfront • Amazon Kinesis • Amazon S3 • Azure Blob Storage • Browser Upload • Dropbox • Email • FTP • FTPS • Google Cloud Storage • Google Sheets • SFTP • AWS Lambda • Azure Functions • Google Cloud Functions Warehouses • Azure Data Explorer • Azure SQL • BigQuery • MySQL • Panoly • Periscpe • PostgreSQL • Redshift • Snowflake • HubSpot • Instagram Ads • Intercom • Iterable • iTunes Connect • Jira • Klaviyo • Kustomer • Lever • Lightspeed Retail • LinkedIn Ad Analytics • Loaded Commerce • Magento • MailChimp • Mandrill • Marin Software • Marketo • Mavenlink • Microsoft Dynamics 365 • Mixpanel • Netsuite SuiteAnalytics • Optimizely • Outbrain • OsCommerce • Pardot • Pendo • Pinterest Ads • PrestaShop • QuickBooks • ReCharge • Recurly • Sailthru • Salesforce • Salesforce IQ • Salesforce Marketing Cloud • SAP ERP • SendGrid • ServiceNow • Shopify • Splunk • Spree Commerce • Snapchat Ads • Square • Stripe • Taboola • Twitter Ads • UserVoice • WooCommerce • Workday • WordPress • Xero • Yahoo Gemini • Zen Cart • Zendesk • Zendesk Chat • Zendesk Sunshine • Zuora 接続可能なデータソース・データウェアハウス
9. ETLとELTの違いって？
10. ETL ELT Load Transform Extract Load Transform Extract
11. ETLとは? • データウェアハウス(データベース)にロードする前に、 データを可視化に必要な形式にするため・・・・ データ容量を最小限に抑えることが可能。 データの処理を最小限に抑えることが可能。 しかし・・・ 新たな可視化の要件が発生した際には、改めて要件定義からの設計が必要 Extract 抽出 Transform 変換/加工 Load ロード
12. • データソースからそのままデータウェアハウス(データベース)に データをロードするため・・・ 新たな可視化の要件が発生した際には、ロードしたデータを データウェアハウス内で変換/加工するだけで対応可能に。 しかし・・・ データ容量や処理はデータウェアハウス側のスペックに依存 ビッグデータを高速処理可能なクラウド型のデータウェアハウスが登場したことで ELTにて運用した場合も、以前よりコストをかけずに運用可能に！！ ELTとは? Extract 抽出 Transform 変換/加工 Load ロード
13. データの 抽出 抽出完了の 確認 データの 整形 データの 正規化 整合性の 確認 データウェアハウスに 保存 データを集約する上での課題： 自社ですべて管理するには、時間も手間もかかる・・・ 一般的に、メンテナンスにリソース の約40%を費やしていると言わ れています。 頻繁にメンテナンスが必要・・・ ✗ スキーマの変更 ✗ スキーマの移行 ✗ データの差分更新 ✗ 障害の復旧 1 2 3 4 5 6
14. 変換/加工ができること ✓ データ連携やスキーマが提供されていること ✓ 全データがコピーできること ✓ データが定期的に更新されること ✓ メンテナンスが不要なこと ✓ 自動化されていること ✓ 障害が発生した際に、すぐに復旧できること ✓ データの更新頻度が早いこと ✓ データを集約する上でのポイント：
15. コネクタを使用して、様々なデータソース からデータを抽出 既に定義済みのスキーマを使用して、 データウェアハウスにデータをロード 必要に応じて、SQLを使用した変換/加工 を実施 BIツールによる可視化 Fivetranを利用し、 自動化することで、 可視化に注力する ことができます
16. DEMO
17. Private and Confidential. Do not distribute デモにて使用するツールとその役割 データソース パイプライン データウェアハウス ▪ ▪ ▪ ▪ ▪ ▪ BIツール
18. 事例紹介
19. Fivetranのユーザー Eコマース 消費者向け サービス 金融 ヘルスケア メディア/教育 テクノロジー
20. Case Study Customer Quote Connectors 収益が月30万ポンドから70万ポン ドに増加 2～3週間かけて作成していたレポー トが、いつでも最新のデータにて情報 が確認できるようになりました。 Fivetranのコネクタは様々なデータソースを網羅して おり、アラートの可視性が高く、サポートが充実して おり、それが鍵となりました。 Stephen Coyne アナリティクスの責任者 → mvf.com → fivetran.com/blog/case-study-mvf Bing Ads / Google Ads / Google Analytics / Iterable / LinkedIn Ad Analytics / MySQL / Optimizely / Outbrain / Pinterest Ads / Amazon S3 / Snapchat Ads / Taboola / Webhooks / Yahoo Gemini データウェアハウス: Snowflake BIツール: Looker ユーザーの声 コネクタ
21. Case Study Customer Quote Connectors マーケティングデータを集約した ウェアハウスを数週間ではなく数日 で構築することができました。 顧客向けレポートの作成時間を、 丸1日から数分に削減することができ ました。 “Fivetranを導入する必要があった主な理由は3つ ありました。 1. データの統合が容易であること 2. アクセスが速いこと 3. 複雑なデータモデルを構築できること" Kade Killary データサイエンティスト → crossmedia.com → fivetran.com/blog/case-study-crossmedia Campaign Manager / Email / Facebook Ad / Account / FTP / Google Ads / Google Analytics / LinkedIn Ad Analytics / AWS S3 データウェアハウス: Snowflake BIツール: Tableau ユーザーの声 コネクタ
22. Case Study Customer Quote Connectors FivetranとSnowflakeを導入 したことにより、2年間で3600万円 と3人分のリソースを節約する ことができました。 それまで、2～3か月かかっていた データサイエンスプロジェクトを、 現在2～3週間に短縮することが できました。 FivetranとSnowflakeを導入したことで、データウェ アハウスチームの仕事がより楽しいものに変わりました。 チームは、ビジネス全体の人々と話す時間を費やす ことができるようになりました。 ハードウェアの一部をサポートしているというだけでなく、 実際のビジネス価値を生み出していると感じることが できます。 Russell Stather CTO データウェアハウス: Snowflake → ignitiongroup..com → fivetran.com/blog/case-study-ignition-group Google AdWords / Facebook / Microsoft Azure SQL Database / Google Analytics / Mandrill / PostgreSQL / SFTP / SQL Server / Microsoft Azure / Blob Storage / MySQL BIツール: PowerBI ユーザーの声 コネクタ
23. Case Study Customer Quote Connectors 3年間で360,000ドルの節約が 見込まれています。 作成に10日かかった財務レポートが、 いつでも最新の情報で確認できるよ うになりました。 NetSuiteのAPIが頻繁に変更されますが、Fivetran はオンプレミスとクラウドの両方のERPを維持し、 自動的にデータウェアハウスに集約することができます。 Fivetranにより、SQL ServerおよびNetSuite コネクタのセットアップとメンテナンスで360,000ドルを 節約できたと想定しています。 Nick Heigerick BIのITマネージャー → oldcastleinfrastructure.com → fivetran.com/blog/ oldcastle-infrastructure-migrates-on-prem-data-to-the-cloud-with-fivetran SQL Server / NetSuite / Salesforce データウェアハウス: Snowflake BIツール: Tableau SI: InterWorks ユーザーの声 コネクタ
24. 料金プランについて
25. Fivetran 料金 プラン 月あたりの更新される行数 ✓ 課金対象は月に追加や変更されたデータに対してのみ 課金体系がシンプル 行数課金 使用するコネクタ数に依存しません 使用行数が多くなればなるほど、1行あたりの金額がお得に 過去のデータを同期する際の費用はゼロ 1行当たりの費用 1行当たりの費用 1行当たりの費用 ✓ ✓ ✓
26. まとめ
27. まとめ：Fivetranを導入するメリット データウェアハウスの構築が簡単にできる 自社でのETL/ELTの構築が不要 データ連携を自動化することによりコストの削減が可能 様々なアプリやシステムのデータを連携できるコネクタ(現時点で150種類以上)を提供 データ連携を自動化することで、データの可視化に集中できる
28. Q&A
29. Fivetranに関する情報源 • Developers.IO https://dev.classmethod.jp/ • Developers.IO（Fivetran関連記事） https://dev.classmethod.jp/referencecat/business-analytics-tools-fivetran/ • Fivetran オンデマンドウェビナー https://resources.fivetran.com/on-demand-webinars • Fivetran Docs https://fivetran.com/docs/getting-started • Fivetran事例紹介 https://fivetran.com/blog/case-studies 29
30. 30 参考情報のURL：はじめの一步シリーズ • Snowflake https://www.youtube.com/watch?v=0QNXoKjnWOo • Looker https://www.youtube.com/watch?v=tuQu4p_Oqzw • Alteryx https://www.youtube.com/watch?v=lvVFTXef_jk
31. 31 さいごに クラスメソッドは、Fivetranだけでなく、データウェアハウス・ BIツールも取り扱っておりますので、トライアルや製品に関する ご質問等ございましたら、アンケートへのご記載、もしくは弊社 ホームページよりお問合わせください。
32. 今後のイベント案内 データ分析関連 そのほか
33. 33 本日は、ウェビナー“はじめの一歩 Fivetran編”に ご参加いただきありがとうございました。