Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Introduction to Hadoop

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for uictechparty uictechparty
July 01, 2012
Programming
240
3

Introduction to Hadoop

By zhique, 1st TechParty@UIC

Avatar for uictechparty

uictechparty

July 01, 2012

More Decks by uictechparty

See All by uictechparty
产品经理是做什么的呢？
Avatar for uictechparty uictechparty
1
230
找人
Avatar for uictechparty uictechparty
3
470
香港研究生申请经验分享
Avatar for uictechparty uictechparty
0
420
css.pdf
Avatar for uictechparty uictechparty
1
220
Introduction to Design Patterns
Avatar for uictechparty uictechparty
2
160
编写高质量Java代码的7个建议
Avatar for uictechparty uictechparty
2
190
视觉障碍出行辅助仪 -The Third Eye
Avatar for uictechparty uictechparty
1
130
jQuery 快速入门
Avatar for uictechparty uictechparty
1
150
Introduction to NodeJS
Avatar for uictechparty uictechparty
1
220

Other Decks in Programming

See All in Programming
AI駆動開発勉強会 広島支部 第一回勉強会 AI駆動開発概要とワークショップ
Avatar for smz hyt hayatoshimiu
0
250
1人1案件のプロダクトエンジニア時代に、"プロセス監督"としてチャレンジしたこと
Avatar for のんちゃん non0113
0
120
Agent Skills を社内で育てる仕組み作り
Avatar for jackchuka jackchuka
1
2.1k
AlarmKitで明後日起きれるアラームアプリを作る
Avatar for Trickart trickart
0
140
密結合なバックエンドから TypeScript のコードを生成する
Avatar for kemuridama kemuridama
0
250
Firefoxにコントリビューションして得られた学び
Avatar for ken7253 ken7253
2
170
Migrations : C'est une question d'hygiène !
Avatar for Vincent Amstoutz vinceamstoutz
0
680
AgentCore Optimizationを始めよう！
Avatar for matsukada licux
3
260
サークル参加から学ぶ、小さな事業の回し方
Avatar for yuzneri yuzneri
0
210
TypeSpec で繋ぐ複数プロダクトの型安全
Avatar for Mitsui maroon8021
1
130
Back to the roots of date
Avatar for jinroq jinroq
0
900
Agentic UI beyond Chats Architecture Patterns & Open Standards @ngMunich 05/2026
Avatar for Manfred Steyer manfredsteyer
PRO
0
110

Featured

See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
Avatar for Marcelo Somers marcelosomers
234
17k
What does AI have to do with Human Rights?
Avatar for Per Axbom axbom
PRO
1
2.1k
First, design no harm
Avatar for Per Axbom axbom
PRO
2
1.2k
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
135
9.8k
The SEO Collaboration Effect
Avatar for Kristina Bergwall kristinabergwall1
1
450
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
Avatar for panda_program panda_program
122
21k
The Curious Case for Waylosing
Avatar for Cassini Nazir cassininazir
1
350
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
Avatar for Joe Casabona jcasabona
34
2.7k
How to Talk to Developers About Accessibility
Avatar for Jason CranfordTeague jct
2
200
Claude Code どこまでも/ Claude Code Everywhere
Avatar for nwiizo nwiizo
65
55k
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
Avatar for Liv Day livdayseo
0
120
Why Your Marketing Sucks and What You Can Do About It - Sophie Logan
Avatar for Sophie Logan marketingsoph
0
140

Transcript

  1. Hadoop Intro HDFS & MapReduce 1st TechParty@UIC zhique

  2. Background 1. Lucene和Nutch Lucene： 纯Java的高性能全文索引引擎工具包。 Nutch：以Lucene为基础实现的搜索引擎应用。 2. Google, GFS和MapReduce论文 Hadoop，从Nutch中剥离出来的分布式计算模块。

  3. Application 1. 阿里巴巴：垂直商业搜索引擎 2. 百度：日志分析、网页数据库 3. Facebook：日志存储、分析 4. Twitter：Tweet、用户数据存储分析 快、简单、横向扩招、不用钱！

  4. HDFS - Hadoop分布式文件系统 设计 1. 一次写入，多次读取 2. 文件系统块大小默认为64MB 3. 管理者-工作者模式

    namenode和datanode 4. 类*nix的文件操作命令 hadoop fs -mkdir books 有何缺陷？

  5. HDFS的读写模式

  6. HDFS的读写模式

  7. 避免带宽瓶颈的机制 代码往数据迁移

  8. MapReduce算法及计算框架

  9. Hadoop生态圈 1. Pig 一种数据流语言和运行环境，用以检索非常大的数据集。Pig 运行在 MapReduce和HDFS的集群上。 2. Hive 一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基 于

    SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。 3. HBase 一个分布式、按列存储数据库。HBase使用HDFS作为底层存储，同时支持 MapReduce的批量式计算和点查询(随机读取)。 4. ZooKeeper 一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务 用于构建分布式应用。

  10. References Hadoop: The Definitive Guide, O'REILLY, Yahoo!Press

  11. TechParty@UIC Thank you!