Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Introduction to Hadoop

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for uictechparty uictechparty
July 01, 2012
Programming
3
230

Introduction to Hadoop

By zhique, 1st TechParty@UIC

Avatar for uictechparty

uictechparty

July 01, 2012
Tweet

More Decks by uictechparty

See All by uictechparty
产品经理是做什么的呢？
Avatar for uictechparty uictechparty
1
220
找人
Avatar for uictechparty uictechparty
3
470
香港研究生申请经验分享
Avatar for uictechparty uictechparty
0
410
css.pdf
Avatar for uictechparty uictechparty
1
220
Introduction to Design Patterns
Avatar for uictechparty uictechparty
2
150
编写高质量Java代码的7个建议
Avatar for uictechparty uictechparty
2
190
视觉障碍出行辅助仪 -The Third Eye
Avatar for uictechparty uictechparty
1
120
jQuery 快速入门
Avatar for uictechparty uictechparty
1
150
Introduction to NodeJS
Avatar for uictechparty uictechparty
1
220

Other Decks in Programming

See All in Programming
AIによるイベントストーミング図からのコード生成 / AI-powered code generation from Event Storming diagrams
Avatar for nrs nrslib
2
1.9k
HTTPプロトコル正しく理解していますか？ 〜かわいい猫と共に学ぼう。ฅ^•ω•^ฅ ﾆｬ〜
Avatar for ♛Heitor Hirose hekuchan
2
690
コマンドとリード間の連携に対する脅威分析フレームワーク
Avatar for Aja9tochin pandayumi
1
460
CSC307 Lecture 05
Avatar for Javier Gonzalez-Sanchez javiergs
PRO
0
500
Oxlintはいいぞ
Avatar for Yuji Yamaguchi yug1224
5
1.3k
並行開発のためのコードレビュー
Avatar for Miyuki miyukiw
0
250
[KNOTS 2026登壇資料]AIで拡張‧交差する プロダクト開発のプロセス および携わるメンバーの役割
Avatar for hisatake hisatake
0
290
AIと一緒にレガシーに向き合ってみた
Avatar for nyafunta9858 nyafunta9858
0
240
責任感のあるCloudWatchアラームを設計しよう
Avatar for アキキー akihisaikeda
3
180
AIエージェント、”どう作るか”で差は出るか？ / AI Agents: Does the "How" Make a Difference?
Avatar for r-kagaya rkaga
4
2k
AI時代のキャリアプラン「技術の引力」からの脱出と「問い」へのいざない / tech-gravity
Avatar for MinoDriven minodriven
21
7.3k
humanlayerのブログから学ぶ、良いCLAUDE.mdの書き方
Avatar for Yuto tsukamoto1783
0
200

Featured

See All Featured
Ethics towards AI in product and experience design
Avatar for Skipper Chong Warson skipperchong
2
200
Prompt Engineering for Job Search
Avatar for Mfonobong Umondia mfonobong
0
160
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
Avatar for Michelle Schulp Hunt marktimemedia
31
2.7k
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
659
61k
The Cult of Friendly URLs
Avatar for Andy Hume andyhume
79
6.8k
Faster Mobile Websites
Avatar for Dean Hume deanohume
310
31k
How To Stay Up To Date on Web Technology
Avatar for Chris Coyier chriscoyier
791
250k
B2B Lead Gen: Tactics, Traps & Triumph
Avatar for Sophie Logan marketingsoph
0
55
Speed Design
Avatar for Sergey Chernyshev sergeychernyshev
33
1.5k
Rebuilding a faster, lazier Slack
Avatar for samanthasiow samanthasiow
85
9.4k
Design in an AI World
Avatar for tapps tapps
0
140
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
Avatar for Liv Day livdayseo
0
67

Transcript

  1. Hadoop Intro HDFS & MapReduce 1st TechParty@UIC zhique

  2. Background 1. Lucene和Nutch Lucene： 纯Java的高性能全文索引引擎工具包。 Nutch：以Lucene为基础实现的搜索引擎应用。 2. Google, GFS和MapReduce论文 Hadoop，从Nutch中剥离出来的分布式计算模块。

  3. Application 1. 阿里巴巴：垂直商业搜索引擎 2. 百度：日志分析、网页数据库 3. Facebook：日志存储、分析 4. Twitter：Tweet、用户数据存储分析 快、简单、横向扩招、不用钱！

  4. HDFS - Hadoop分布式文件系统 设计 1. 一次写入，多次读取 2. 文件系统块大小默认为64MB 3. 管理者-工作者模式

    namenode和datanode 4. 类*nix的文件操作命令 hadoop fs -mkdir books 有何缺陷？

  5. HDFS的读写模式

  6. HDFS的读写模式

  7. 避免带宽瓶颈的机制 代码往数据迁移

  8. MapReduce算法及计算框架

  9. Hadoop生态圈 1. Pig 一种数据流语言和运行环境，用以检索非常大的数据集。Pig 运行在 MapReduce和HDFS的集群上。 2. Hive 一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基 于

    SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。 3. HBase 一个分布式、按列存储数据库。HBase使用HDFS作为底层存储，同时支持 MapReduce的批量式计算和点查询(随机读取)。 4. ZooKeeper 一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务 用于构建分布式应用。

  10. References Hadoop: The Definitive Guide, O'REILLY, Yahoo!Press

  11. TechParty@UIC Thank you!