How about the DataWorks(AliCloud) to easily ?

AliEatersOsaka#3 Presented by Mr.shimomaki(SBCloud).

Transcript

1. DataWorksでDWHをお手軽に
4. データソリューション 4 LogService Object Storage TableStore 分散データ処理 MaxCompute Server log Image file Excel Tableau BIツール DataV ダッシュボード RDB データマート Applicatio n RDB HybridDB オンプレミス 他社クラウド DTS データ転送 少量データならそのまま可視化も可能 大きなデータや統合が必要 な場合は、分散データ処理 基盤を使って整理 アーカイブ データウェアハウス データレイク
5. データ基盤の分類 データ基盤の分類 位置付け 技術要素 データレイク 元データをコピーしたもの OSS etc… データウェアハウス 業務ドメインを反映した データの整理 MaxCompute データマート 用途向けに 加工されたデータ RDB etc… 参考：http://yuzutas0.hatenablog.com/entry/2018/12/02/180000?fbclid=IwAR1VRqyvWJT_CtBVx3VxD9a76t-GW_cAt7JQMmLamNJ_hsjZQIlIrxOCTLs
6. データソリューション 6 Object Storage TableStore 分散データ処理 MaxCompute DataV ダッシュボード BIツール RDB データマート RDB HybridDB 少量データならそのまま可視化も可能 データウェアハウス データレイク
7. 応用 データ表現 Alibaba Bigdata Platform 基盤 MaxCompute ストリーム計算 分析型DB DataV 機械学習 エンジン 加工 DataWorks QuickBI カスタマイズ 推薦エンジン トレンド分析 AI＆IOT 顔認識 音声翻訳
8. Compute Virtual Server Alibaba ECS Amazon EC2 Azure Virtual Machine Compute Engine Container Service Container Service Amazon EC2 Azure Container Instances Kubernetes Engine Event Driven Computing Function Compute AWS Lambda Azure Functions Google Cloud Functions Storage Object Storage Object Storage Service Amazon S3 Azure Blob Storage Cloud Storage VM Disk Storage Block Storage Amazon EBS Azure Page Blobs Persistent Disk Database Relational Database ApsaraDB for RDS Amazon RDS Azure Database for XX Cloud SQL In-Memory Data Store ApsaraDB for Redis Amazon ElastiCache Azure RedisCache Cloud MemoryStore Bigdata Data WareHouse MaxCompute Amazon Redshift Azure SQL DataWarehouse Big Query Managed Cluster Service E-MapReduce Amazon EMR Azure HDInsight Cloud DataProc Networking Virtual Networking Virtual Private Cloud Amazon VPC Azure VNet Cloud Virtual Network Content Delivery Alibaba Cloud DNS Amazon Route 53 Azure DNS Cloud DNS 他社で言うところの 詳しくは http://comparecloud.in/ を参照
9. MaxCompute 大規模データの分散処理プラットフォームで ワンストップで大量のデータを迅速に、簡潔に効率よく低価格で 処理することが可能です。下記の4つの主要な機能を備えています。 ① データ転送機能 ② データ格納機能（ストレージ） ③ データ処理機能（計算） ④ プロセス管理機能（権限管理、セキュリティ） 各種データのインプットから、テーブル型データストレージMaxComputeMapReduceや MaxComputeSQLなどの計算処理、そしてアウトプットまでの各プロセスを セキュアにコントロールできるプラットフォームです。
10. Alibaba CloudのDWH MaxCompute 10 ・PB級データを高速処理可能 2015 Sort BenchMark :377秒で100TBデータソート完了 ・多機能を備え管理を一元化 ・5倍圧縮保管で運用を安価に PB級 MaxCompute ＊多機能：分析 - SQL, MapReduce, Graph etc… データインポート/エクスポート, 計算/検索
11. 11 Max Compute（分散データ処理基盤） オンプレミス MySQL TXT Text Data … Oracle データ収集 データアプリケーション データ処理 / マネジメント MaxCompute 基盤 クラウド環境 RDS OSS ECS … データウェアハウス Data Mining Task Scheduling Scrubbing & Converting データ同期 ETL アプリケーショ ン レポート リアルタイム クエリ データ分析 マイニング 予想 データファイル アクセス制御・ポータルインテグレーション タスクマネジメント DataWorks
12. DataWorksでMaxComputeを操る 12 MaxCompute ＊多機能：分析 - SQL, MapReduce, Graph etc… データインポート/エクスポート, 計算/検索 DataWorks ワークフロー開発 データ収集 ワーク スケジューリング バージョン管理 タスク監視 機械学習 BIレポート
13. DataWorksとは AlibabCloud上でBig Dataを加工する為のIDE (Integrated Development Environment)統合開発環境です。 下記の3つの主要なサービスを備えています。 ① ビッグデータ処理プログラム開発環境 ② タスクモニタリングとジョブ管理機能 ③ データ管理機能 MaxComputeと連携することで、ビッグデータの処理やデータ分析、 データマイニングなどをワンストップで行うことができるようになります。
14. DataWorksとは ① ビッグデータ処理プログラム開発環境 ビッグデータに対して、高速計算処理を行い、実行結果をエクスポートして、 他システムにデータを連携させることが可能です。 ・SQL (MaxCompute SQL)、データ同期、MR (MaxCompute MR)、シェル、 その他のジョブタイプを含む豊富なコンポーネントが用意されています。 ・複数のプログラミング言語に対応し、コードのオートコンプリート機能、 書式設定機能、デバック機能を備えています。 ・多人数による大規模開発にも対応できるよう、プロジェクト管理、 バージョン管理、コラボレーション開発管理などの管理機能を備えています。 ・豊富なデータインポート機能を装備しています。 FTP, SFTP, OSS, MySQL, PostgreSQL, Memcache, Redis, MongoDB, Hbase, MaxCompute, AnalyticDB, HDFS, HybridDB for MySQL など
15. DataWorksとは ② タスクモニタリングとジョブ管理機能 ・タスクを視覚化しモニタリングや一元管理が可能になっています。 ・アラート機能やオフラインタスクスケジューリング機能で 効率的な運用をサポートします。 ・データ同期可能なデータ MaxCompute , MySQL , SQL Server , PostgreSQL , Oracle , FTP , ADSなど ③ データ管理機能 各プロジェクトや各メンバー毎にデータアクセス権限を管理可能です。 データ同期設定データ転送設定も詳細に管理できます。 FTP ADS
16. DataWorks処理の概要 DBからデータ持っ てくる ストレージから データ持ってくる データを 1つのテーブルに統合 必要データを 整理・抽出 データマートへ アウトプット
17. 17 参考事例 大手食品メーカー様 20年分の POSデータを分析
18. 機械学習プラットフォームへの連携 *2018年12月現在 日本未提供
19. MaxComputeが裏で活躍 GUIによる操作 豊富なアルゴリズム
20. DataWorksでMaxComputeを操る 20 MaxCompute ＊多機能：分析 - SQL, MapReduce, Graph etc… データインポート/エクスポート, 計算/検索 DataWorks ワークフロー開発 データ収集 ワーク スケジューリング バージョン管理 タスク監視 機械学習 BIレポート
21. MaxCompute DataWorks DataV AI セキュリティ Private Cloud 3Q 4Q ECS Baremetal Super Computing Cluster IOT Link Kit Image Search Machine Learning Stream Compute Anti DDoS Pro CEN (Cloud NW) GPU ECS Baremetal Apsara Stack 下期にかけてプロダクトラインナップ拡充へ 2017年12 月 2018年 3月 2018年 8月 Big Data ベアメタル （Intel） NW IoT Suite SSA （サーバセキュリティ） Express Connect Product Roadmap
22. EOF