Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Introduction to Hadoop

Avatar for uictechparty uictechparty
July 01, 2012
Programming
3
230

Introduction to Hadoop

By zhique, 1st TechParty@UIC

Avatar for uictechparty

uictechparty

July 01, 2012
Tweet

More Decks by uictechparty

See All by uictechparty
产品经理是做什么的呢？
Avatar for uictechparty uictechparty
1
220
找人
Avatar for uictechparty uictechparty
3
470
香港研究生申请经验分享
Avatar for uictechparty uictechparty
0
410
css.pdf
Avatar for uictechparty uictechparty
1
220
Introduction to Design Patterns
Avatar for uictechparty uictechparty
2
150
编写高质量Java代码的7个建议
Avatar for uictechparty uictechparty
2
190
视觉障碍出行辅助仪 -The Third Eye
Avatar for uictechparty uictechparty
1
120
jQuery 快速入门
Avatar for uictechparty uictechparty
1
150
Introduction to NodeJS
Avatar for uictechparty uictechparty
1
210

Other Decks in Programming

See All in Programming
MDN Web Docs に日本語翻訳でコントリビュート
Avatar for uutan1108 ohmori_yusuke
0
550
Combinatorial Interview Problems with Backtracking Solutions - From Imperative Procedural Programming to Declarative Functional Programming - Part 2
Avatar for Philip Schwarz philipschwarz
PRO
0
150
HTTPプロトコル正しく理解していますか？ 〜かわいい猫と共に学ぼう。ฅ^•ω•^ฅ ﾆｬ〜
Avatar for ♛Heitor Hirose hekuchan
2
650
Python札幌 LT資料
Avatar for t3tra t3tra
7
1.1k
QAフローを最適化し、品質水準を満たしながらリリースまでの期間を最短化する #RSGT2026
Avatar for shibayu36 shibayu36
2
3.7k
2年のAppleウォレットパス開発の振り返り
Avatar for muno92 muno92
PRO
0
190
Findy AI+の開発、運用におけるMCP活用事例
Avatar for starfish719 starfish719
0
2.2k
Graviton と Nitro と私
Avatar for maroon1st maroon1st
0
170
Grafana：建立系統全知視角的捷徑
Avatar for Blueswen blueswen
0
300
CSC307 Lecture 01
Avatar for Javier Gonzalez-Sanchez javiergs
PRO
0
670
Architectural Extensions
Avatar for Denys Poltorak denyspoltorak
0
190
それ、本当に安全？ ファイルアップロードで見落としがちなセキュリティリスクと対策
Avatar for ikechi penpeen
7
2.3k

Featured

See All Featured
Designing for Timeless Needs
Avatar for Cassini Nazir cassininazir
0
120
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
127
17k
svc-hook: hooking system calls on ARM64 by binary rewriting
Avatar for Akira Moroo retrage
1
74
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
38
2.7k
Designing Experiences People Love
Avatar for Jonathan Moore moore
143
24k
A Tale of Four Properties
Avatar for Chris Coyier chriscoyier
162
24k
Faster Mobile Websites
Avatar for Dean Hume deanohume
310
31k
Building an army of robots
Avatar for Kyle Neath kneath
306
46k
RailsConf 2023
Avatar for Aaron Patterson tenderlove
30
1.3k
Ethics towards AI in product and experience design
Avatar for Skipper Chong Warson skipperchong
2
180
Conquering PDFs: document understanding beyond plain text
Avatar for Ines Montani inesmontani
PRO
4
2.2k
Are puppies a ranking factor?
Avatar for Jono Alderson jonoalderson
1
2.6k

Transcript

  1. Hadoop Intro HDFS & MapReduce 1st TechParty@UIC zhique

  2. Background 1. Lucene和Nutch Lucene： 纯Java的高性能全文索引引擎工具包。 Nutch：以Lucene为基础实现的搜索引擎应用。 2. Google, GFS和MapReduce论文 Hadoop，从Nutch中剥离出来的分布式计算模块。

  3. Application 1. 阿里巴巴：垂直商业搜索引擎 2. 百度：日志分析、网页数据库 3. Facebook：日志存储、分析 4. Twitter：Tweet、用户数据存储分析 快、简单、横向扩招、不用钱！

  4. HDFS - Hadoop分布式文件系统 设计 1. 一次写入，多次读取 2. 文件系统块大小默认为64MB 3. 管理者-工作者模式

    namenode和datanode 4. 类*nix的文件操作命令 hadoop fs -mkdir books 有何缺陷？

  5. HDFS的读写模式

  6. HDFS的读写模式

  7. 避免带宽瓶颈的机制 代码往数据迁移

  8. MapReduce算法及计算框架

  9. Hadoop生态圈 1. Pig 一种数据流语言和运行环境，用以检索非常大的数据集。Pig 运行在 MapReduce和HDFS的集群上。 2. Hive 一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基 于

    SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。 3. HBase 一个分布式、按列存储数据库。HBase使用HDFS作为底层存储，同时支持 MapReduce的批量式计算和点查询(随机读取)。 4. ZooKeeper 一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务 用于构建分布式应用。

  10. References Hadoop: The Definitive Guide, O'REILLY, Yahoo!Press

  11. TechParty@UIC Thank you!