Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
BI Exadata in YHD
Search
ylouis83
April 03, 2014
Technology
960
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
BI Exadata in YHD
exadata 在电商的应用
ylouis83
April 03, 2014
Transcript
16 slides
Exadata在电商的应用 By louis liu @vmcd.org
在哪使用? 怎么使用?
结构化 vs 非结构化 事务 数据 结构化 元数据和 主数据 数据 仓库
数据 分析 数据 集成 日志、社交、行 为、多媒体 非结构化 机器生成 Map Reduce 分布式 文件系统 NoSQL 数据存储 数据 分析 1. 割裂 or 集成? ?
结构化 vs非结构化 割裂 or 集成 -- reloading? 元数据 非结构数据 结构数据
目前-Reloading操作 技术路线 • 数据分析可直接从MR汇总 至BI分析; • 客户行为等数据分析要与已 有关系型数据关联, 需将 MR结果保存在RDBMS后再
统一进行BI; 架构决策 • 使用标准 BI 平台; • 规划科学的数据流向; • 优化不同类型数据关联;
1号店BI 数据现状与未来 2013 2014 2015 •BI业务数据当前-2013年: •非结构化数据 – xx+节点Hadoop, 总存储300TB,
日 均增长1TB; •结构化数据 - 两台Exadata互备且读写分离, 总存 储6TB(high compress) ; •预计年均增长约200%+; •现有架构数据容量远不能满足未来三年发展; •需要升级、扩容现有架构; 关系数据 6TB 日志数据 200TB 日志数据 400TB 关系数据 15TB 日志数据 800TB 关系数据 30TB
目前的架构 X4 X2 分离 –两层结构 + Reloading BI分析 平台 整合
流量/浏览统计 销售/财务/CRM X4 X2 Not online
1号店数据物理拓扑 2013年 利用成熟平台 X2-2 1/4 HDFS • 业务数据中结构化部分由 RDBMS架构处理; 非结构化部
分由Hadoop平台处理; • Hadoop结果集通过 Connectors同步至Exadata; • 处理结果由统一的BI平台分析; 销售 供应链 财务 结构化数据 店中店 CRM 关联查询 复杂计算 统计分析 Hadoop结果集 各类行为日志 非结构化数据 分布存储 MapReduce Aggregation
1号店数据物理拓扑建议 Exadata –X4 资源分割 2014 利用成熟平台 X4-2 1/2 HDFS •
应用分离 (线上Domain 分离) • 资源隔离(两套XD集群互补) • 利用hadoop+ X2 构造ODS数 据集市 X4 ; 销售 供应链 财务 结构化数据 店中店 CRM 关联查询 复杂计算 统计分析 Hadoop结果集 日志Tracking 非结构化数据 分布存储 MapReduce Aggregation
DW X2-集群 X4-集群 Hadoop集群 系统融合 – 共组DW集群系统 X4构造ODS + X2构造分级BI,
配合Hadoop的非结构化数 据组成了数据集市
非结构化 结构化 P-of-X2 1号店数据物理架构 两层数据, 两层BI BI分析 平台 Hadoop X4-2
1/2 ODS InfiniBand InfiniBand X2-2 1/4 多活业务中心 财务 Hadoop 结果集 Hadoop 结果集 CRM.. 供应链 商家 X2-2 1/4 Tracking ETL Tool …
未来的BI架构- ->脱离传统的约束 Text in here
截取Oracle的官方回复 性能提升 Exadata & Hadoop是 性能最佳结构化 & 非结构化数据平台; Oracle有最优的多 表Join,
集群, Connector等技术; 成本节约 RDBMS是最成熟的 BI DW平台; CDH是 成熟的商用版本; 高效利用已有平台 能大大降低’新’数 据项目的资源投入; 灵活性增强 RDBMS & Hadoop组 成两层BI数据基础; 更多数据, 更多技 术手段灵活处理, 达到整体最优; 风险降低 RDBMS有更高的数 据安全性, 可管理 性; 两层架构使’新’数 据项目总体风险可 控;
参考案例 - XXX BI DW 架构 filesystem
Exadata所面临的问题 2. X4 所考虑的问题 3. 升级所遇到的问题 1. X2所遇到的问题1
Q & A
More Decks by ylouis83
See All by ylouis83
NVMFS_Benchmark
ylouis83
0
130
MySQL OSlayer Performance optimization
ylouis83
0
450
MySQL 5.5&5.6 new features summary
ylouis83
1
1.2k
MySQL async message subscription platform
ylouis83
0
140
HBASE Performance Test
ylouis83
0
1.1k
jkcn-mysql架构
ylouis83
0
230
NoSQL Benchmark Testing
ylouis83
0
1k
MySQL Fabric HA &Sharding solutions
ylouis83
1
1.2k
SSD gc review
ylouis83
0
650
Other Decks in Technology
See All in Technology
うちなーぐちが認識できるなら、秋田弁もいけるはず!? Amazon Transcribe方言チューニング検証
ryouto715
1
170
【Oracle AI SPOTLIGHT ウェビナー】【特別開催:日本語で解説!】Oracle AI World 2026 最新情報フィードバック
oracle4engineer
PRO
1
210
長い仕事を任せる (Workflows、クラウドセッション、Kiro Web) | 目指せ Kiro マスター 10
inariku
PRO
3
190
DBTS2026 盛り上がってますか!?Databricksが実現するAI時代のデータ基盤
akuwano
1
210
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
17
120k
プロダクションコードにおける encoding/json から encoding/json/v2 へのスムーズな移行
sansantech
PRO
1
410
顧客合意を取りながら進めるAWSコスト削減の実践
optim
0
170
これからのデータエンジニアの役割について考える / Rethinking the Role of Data Engineers in the AI Era
okiyuki99
0
480
「AIチャットからもできないの?」と言われたら ~業務アプリをMCP対応するときの認証・認可の勘所
oidfj
0
320
セキュリティ専任チームなしで攻撃を先回りするSREが実践したSIEM on Amazon OpenSearch Service
cscengineer
PRO
1
870
AWSを利用する上で知っておきたい名前解決の話 2026
nagisa53
5
3.6k
JAWSコミュニティに 参加して1年経った結果
ssakita
0
140
Featured
See All Featured
Agile Leadership in an Agile Organization
kimpetersen
PRO
0
310
[RailsConf 2023] Rails as a piece of cake
palkan
59
7.1k
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
68
60k
The browser strikes back
jonoalderson
0
1.9k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
128
56k
The untapped power of vector embeddings
frankvandijk
2
2k
How to build an LLM SEO readiness audit: a practical framework
nmsamuel
2
980
Practical Orchestrator
shlominoach
192
12k
SEO in 2025: How to Prepare for the Future of Search
ipullrank
3
3.9k
Six Lessons from altMBA
skipperchong
29
4.6k
Odyssey Design
rkendrick25
PRO
3
940
HDC tutorial
michielstock
2
1k