Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Introduction to Hadoop

Avatar for uictechparty uictechparty
July 01, 2012
Programming
3
230

Introduction to Hadoop

By zhique, 1st TechParty@UIC

Avatar for uictechparty

uictechparty

July 01, 2012
Tweet

More Decks by uictechparty

See All by uictechparty
产品经理是做什么的呢？
Avatar for uictechparty uictechparty
1
220
找人
Avatar for uictechparty uictechparty
3
460
香港研究生申请经验分享
Avatar for uictechparty uictechparty
0
410
css.pdf
Avatar for uictechparty uictechparty
1
220
Introduction to Design Patterns
Avatar for uictechparty uictechparty
2
150
编写高质量Java代码的7个建议
Avatar for uictechparty uictechparty
2
180
视觉障碍出行辅助仪 -The Third Eye
Avatar for uictechparty uictechparty
1
120
jQuery 快速入门
Avatar for uictechparty uictechparty
1
150
Introduction to NodeJS
Avatar for uictechparty uictechparty
1
210

Other Decks in Programming

See All in Programming
品質ワークショップをやってみた
Avatar for Nealle nealle
0
620
CSC509 Lecture 06
Avatar for Javier Gonzalez-Sanchez javiergs
PRO
0
270
はじめてのDSPy - 言語モデルを『プロンプト』ではなく『プログラミング』するための仕組み
Avatar for Masahiro Nishimi masahiro_nishimi
4
13k
kiroとCodexで最高のSpec駆動開発を！！数時間で web3ネイティブなミニゲームを作ってみたよ！
Avatar for Haruki Kondo mashharuki
0
880
その面倒な作業、「Dart」にやらせませんか？ Flutter開発者のための業務効率化
Avatar for YomEngine yordgenome03
1
140
Cursorハンズオン実践！
Avatar for Ikko Eltociear Ashimine eltociear
2
1.2k
What Spring Developers Should Know About Jakarta EE
Avatar for ivargrimstad ivargrimstad
0
430
Pythonに漸進的に型をつける
Avatar for Nealle nealle
1
120
マンガアプリViewerの大画面対応を考える
Avatar for kk__777 kk__777
0
100
Go言語の特性を活かした公式MCP SDKの設計
Avatar for hond hond0413
1
480
エンジニアインターン「Treasure」とHonoの2年、そして未来へ / Our Journey with Hono Two Years at Treasure and Beyond
Avatar for CARTA Engineering carta_engineering
0
420
SODA - FACT BOOK（JP）
Avatar for SODA inc. sodainc
1
8.6k

Featured

See All Featured
Making Projects Easy
Avatar for Brett Harned brettharned
120
6.4k
The Psychology of Web Performance [Beyond Tellerrand 2023]
Avatar for Tammy Everts tammyeverts
49
3.1k
VelocityConf: Rendering Performance Case Studies
Avatar for Addy Osmani addyosmani
332
24k
The Success of Rails: Ensuring Growth for the Next 100 Years
Avatar for Eileen M. Uchitelle eileencodes
46
7.7k
Music & Morning Musume
Avatar for Bryan Veloso bryan
46
6.9k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
Avatar for Marc Duiker marcduiker
34
2.3k
Stop Working from a Prison Cell
Avatar for Chris Michel hatefulcrawdad
271
21k
Raft: Consensus for Rubyists
Avatar for Patrick Van Stee vanstee
140
7.2k
Save Time (by Creating Custom Rails Generators)
Avatar for Garrett Dimon garrettdimon
PRO
32
1.7k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
Avatar for Chris Coyier chriscoyier
508
140k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
Avatar for Vitaly Friedman smashingmag
253
22k
Context Engineering - Making Every Token Count
Avatar for Addy Osmani addyosmani
8
300

Transcript

  1. Hadoop Intro HDFS & MapReduce 1st TechParty@UIC zhique

  2. Background 1. Lucene和Nutch Lucene： 纯Java的高性能全文索引引擎工具包。 Nutch：以Lucene为基础实现的搜索引擎应用。 2. Google, GFS和MapReduce论文 Hadoop，从Nutch中剥离出来的分布式计算模块。

  3. Application 1. 阿里巴巴：垂直商业搜索引擎 2. 百度：日志分析、网页数据库 3. Facebook：日志存储、分析 4. Twitter：Tweet、用户数据存储分析 快、简单、横向扩招、不用钱！

  4. HDFS - Hadoop分布式文件系统 设计 1. 一次写入，多次读取 2. 文件系统块大小默认为64MB 3. 管理者-工作者模式

    namenode和datanode 4. 类*nix的文件操作命令 hadoop fs -mkdir books 有何缺陷？

  5. HDFS的读写模式

  6. HDFS的读写模式

  7. 避免带宽瓶颈的机制 代码往数据迁移

  8. MapReduce算法及计算框架

  9. Hadoop生态圈 1. Pig 一种数据流语言和运行环境，用以检索非常大的数据集。Pig 运行在 MapReduce和HDFS的集群上。 2. Hive 一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基 于

    SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。 3. HBase 一个分布式、按列存储数据库。HBase使用HDFS作为底层存储，同时支持 MapReduce的批量式计算和点查询(随机读取)。 4. ZooKeeper 一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务 用于构建分布式应用。

  10. References Hadoop: The Definitive Guide, O'REILLY, Yahoo!Press

  11. TechParty@UIC Thank you!