センスウェイのデータをノーコードでGoogle BigQuery に連携：分析基盤を構築する方法

6月17日に開催されたオンラインセミナー「これから始めるIoT時代のデータ活用」 ～LoRaWAN導入事例～ で発表した際の登壇資料です。

https://www.senseway.net/all-events/seminar/onlineseminar_20200617/

ノーコードのデータレプリケーションツールのCDataSync を使って、SenseWay Mission Connect のREST APIで取得できるデータを Google BigQuery に連携、分析する方法を紹介しています。

参考記事：SenseWay Mission Connect REST APIで取得したデータをGoogle BigQueryへ定期的に連携する：CData Sync
https://www.cdatablog.jp/entry/2020/01/09/140946

製品URL：https://www.cdata.com/jp/sync/

Transcript

1. © 2020 CData Software Japan, LLC | www.cdata.com/jp センスウェイのデータをノーコードで Google BigQuery に連携 分析基盤を構築する方法 2020/6 CData Software
2. © 2020 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software About CData Software
3. © 2020 CData Software Japan, LLC | www.cdata.com/jp About CData Software ・CData Software, Inc. / Started: 1994 (/nsoftware) ・Location: Chapel Hill, NC a spin-off of /n software ・CData Japan: 2016/6 ・20年以上にわたりデータ関連コンポーネントを提供 ・200+ 対応データソース ・「標準化によりAPI を使いやすく」をミッションに連携ツールを提供
4. © 2020 CData Software Japan, LLC | www.cdata.com/jp CRMおよびマーケティング自動化 会計システム コラボレーションおよびERP オンプレミスおよびクラウドDB ドキュメントおよびファイル形式 ソーシャルネットワーキング ネットワーキングおよび認証 電子商取引 その他 データソースの標準化 https://www.cdata.com/jp/drivers/
5. © 2020 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software セッションの前に質問
6. © 2020 CData Software Japan, LLC | www.cdata.com/jp セッションの前に質問 ・REST API を触ったことがある方！ ・普段業務でSaaSやクラウドサービスを使っている方！
7. © 2020 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software 分析のために乗り越えなければいけない壁
8. © 2020 CData Software Japan, LLC | www.cdata.com/jp 最初のセッションを聞いてどうでしたか？
9. © 2020 CData Software Japan, LLC | www.cdata.com/jp データは、宝の山
10. © 2020 CData Software Japan, LLC | www.cdata.com/jp ビッグデータ・IoTデータ分析でよく聞かれる声 リソース不足 様々なデータソースが あり、管理できない ウォーターフォール型になり PDCAを回せない データを活用できる 人材不足 やったけど 効果がわからない
11. © 2020 CData Software Japan, LLC | www.cdata.com/jp “データは、宝の山 ゴミの山”
12. © 2020 CData Software Japan, LLC | www.cdata.com/jp 宝は掘らないと出てこない データは使えるようにしないとインサイトは出てこない 出てくる宝の価値＜掘るコスト
13. © 2020 CData Software Japan, LLC | www.cdata.com/jp 分析のために乗り越えなければいけない壁 API 仕様の壁 マルチデータソースの壁
14. © 2020 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software APIの壁？
15. © 2020 CData Software Japan, LLC | www.cdata.com/jp 「API=簡単に連携できる」という誤解 API があるから Salesforce にも kintone に も 顧客の基幹にも連携できるよね。 ソースAPI へ のアクセス スキーマ付与、 テーブル化 適切なクエリ の実装 相手先API へ のアクセス 相手先への マッピング BIツール等で 分析 ビジネス側の考える「API でできる連携」 実際にAPI でできること 実は開発しないといけない部分
16. © 2020 CData Software Japan, LLC | www.cdata.com/jp • 多くの開発者のデフォルトは RDBMS/SQL • Web API の習得自体が大きな負 担 • アプリケーション側の自動クエリ生 成などの機能を使用できないケース も • REST/SOAP APIs & SDKs の データモデリングの差異 • 各開発言語に依存したSDK • サービス側のAPI 変更への追従負 荷 • 連携部分が俗人化しアップデートに 大きなコスト API 連携実装は習得から運用まで考えると大変 特に「運用・メンテナンス」し続けることが重要 Web API習得の負担 開発言語への依存 運用・アップデート対応負荷
17. © 2020 CData Software Japan, LLC | www.cdata.com/jp 1. About CData Software マルチデータソースの壁？
18. © 2020 CData Software Japan, LLC | www.cdata.com/jp IoTデータを活かすには、IoT以外のデータも重要 このデバイスの 契約状況は？ 契約の更新はいつ？ 顧客への過去の提案状況は？ 他に納品している製品への 影響は？
19. © 2020 CData Software Japan, LLC | www.cdata.com/jp インサイトを得るためのデータソースは一つじゃない IoT ERP MA WEB AD
20. © 2020 CData Software Japan, LLC | www.cdata.com/jp 一つの企業で平均20 程度のSaaS を使う時代 https://www.bettercloud.com/monitor/wp- content/uploads/sites/3/2017/05/2017stateofthesaaspoweredworkplace-report-1.pdf
21. © 2020 CData Software Japan, LLC | www.cdata.com/jp それぞれ手組みしていたら 時間もコストもいくらあっても足りない
22. © 2020 CData Software Japan, LLC | www.cdata.com/jp About CData Sync
23. © 2020 CData Software Japan, LLC | www.cdata.com/jp CData Sync でデータを集約して分析やデータ統合を Bi-directional Access to Live App, Database, & Web API Data Through Standard Drivers ツールや他のSaaS との連携を一つ一つ手組すること（1対1の連携）は、 時間・コスト・安定性から大きな負担 CData Sync で 200+ のSaaS、NoSQL データをクラウドDWH に同期
24. © 2020 CData Software Japan, LLC | www.cdata.com/jp CData Sync ✓ 200+ データソース(SaaS / Cloud) ✓ 20+ 同期先(RDB / DWH) ✓ 主要データソースでは差分更新機能をサポート ✓ ノーコードで自動同期設定 https://www.cdata.com/jp/sync/
25. © 2020 CData Software Japan, LLC | www.cdata.com/jp And more… Salesforce Facebook Gmail Twitter Stripe Google Adwords Dynamics 365 JSON Google Analytics Jira GitHub Twilio kintone Office 365 Quick Books Zoho HubSpot Sugar CRM SharePoint Eloqua Marketo NetSuite Dynamics CRM YouTube Analytics Google Spreadsheets SendGrid SAP Active Directory Google Contacts XML 200+のデータソースをサポート https://www.cdata.com/jp/sync/connections/
26. © 2020 CData Software Japan, LLC | www.cdata.com/jp 主要なRDB およびクラウドデータストアを同期先に https://www.cdata.com/jp/sync/#destinations
27. © 2020 CData Software Japan, LLC | www.cdata.com/jp 3ステップ ノーコード で同期設定 その１. データソースを選択し、コネクション設定 その2. 同期先DBを選択し、コネクション設定 その3. 同期ジョブを設定し、実行 （テーブル、条件、実行間隔）
28. © 2020 CData Software Japan, LLC | www.cdata.com/jp デモ
29. © 2020 CData Software Japan, LLC | www.cdata.com/jp Google BigQuery に SenseWay デバイスデータを連携 DWHを構築し分析・可視化 REST API HTTP JSON 1日に1回 CData Syncが自動的に Google BigQuery に最新データを同期 SQL RecordSet BigQuery DWHに蓄積されたデータを 分析・可視化
30. © 2020 CData Software Japan, LLC | www.cdata.com/jp SenseWay データ分析のためのワンポイント デバイスデータは16進数で送られてくる 「010b01240d0b0f5b000000」 CData Sync は予め分析しやすい フォーマットに変換して連携可能
31. © 2020 CData Software Japan, LLC | www.cdata.com/jp フォーマットが整っているので BIツール等で可視化しやすい
32. © 2020 CData Software Japan, LLC | www.cdata.com/jp RDBやDWHにためたデータを機械学習等にも展開可能
33. © 2020 CData Software Japan, LLC | www.cdata.com/jp まとめ
34. © 2020 CData Software Japan, LLC | www.cdata.com/jp 分析のために乗り越えなければいけない壁 API 仕様の壁 マルチデータソースの壁
35. © 2020 CData Software Japan, LLC | www.cdata.com/jp CData Sync ✓ 200+ データソース(SaaS / Cloud) ✓ 20+ 同期先(RDB / DWH) ✓ 主要データソースでは差分更新機能をサポート ✓ ノーコードで自動同期設定 https://www.cdata.com/jp/sync/
36. © 2020 CData Software Japan, LLC | www.cdata.com/jp 私達が分析したい対象は IoT データでははい IoTデータを含む多様なデータを元にインサイトを得て、アクションに繋げる データを分析できる状態を整えてからが本番
37. © 2020 CData Software Japan, LLC | www.cdata.com/jp 30日間のトライアル提供中 SenseWay-BigQuery 連携の手順記事も公開中 https://www.cdatablog.jp/entry/2020/01/09/140946 https://www.cdata.com/jp/sync/