Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Introduction to Hadoop

Avatar for uictechparty uictechparty
July 01, 2012
Programming
3
230

Introduction to Hadoop

By zhique, 1st TechParty@UIC
Avatar for uictechparty

uictechparty

July 01, 2012
Tweet

More Decks by uictechparty

See All by uictechparty
产品经理是做什么的呢？
Avatar for uictechparty uictechparty
1
210
找人
Avatar for uictechparty uictechparty
3
460
香港研究生申请经验分享
Avatar for uictechparty uictechparty
0
410
css.pdf
Avatar for uictechparty uictechparty
1
210
Introduction to Design Patterns
Avatar for uictechparty uictechparty
2
150
编写高质量Java代码的7个建议
Avatar for uictechparty uictechparty
2
180
视觉障碍出行辅助仪 -The Third Eye
Avatar for uictechparty uictechparty
1
120
jQuery 快速入门
Avatar for uictechparty uictechparty
1
150
Introduction to NodeJS
Avatar for uictechparty uictechparty
1
210

Other Decks in Programming

See All in Programming
VS Code Update for GitHub Copilot
Avatar for 74th(Atsushi Morimoto) 74th
1
460
Cline指示通りに動かない？ AI小説エージェントで学ぶ指示書の書き方と自動アップデートの仕組み
Avatar for 葦沢かもめ kamomeashizawa
1
580
第9回 情シス転職ミートアップ 株式会社IVRy（アイブリー）の紹介
Avatar for 株式会社IVRy（社員登壇資料） ivry_presentationmaterials
1
240
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
Avatar for r-kagaya rkaga
47
31k
GoのGenericsによるslice操作との付き合い方
Avatar for syumai syumai
3
690
Node-RED を（HTTP で）つなげる MCP サーバーを作ってみた
Avatar for High U highu
0
110
NPOでのDevinの活用
Avatar for みんなのコード codeforeveryone
0
440
CursorはMCPを使った方が良いぞ
Avatar for taiga taigakono
1
190
#kanrk08 / 公開版 PicoRubyとマイコンでの自作トレーニング計測装置を用いたワークアウトの理想と現実
Avatar for bash0C7 bash0c7
1
570
たった 1 枚の PHP ファイルで実装する MCP サーバ / MCP Server with Vanilla PHP
Avatar for Shohei Okada okashoi
1
200
20250628_非エンジニアがバイブコーディングしてみた
Avatar for ponponmikan ponponmikankan
0
510
「Cursor/Devin全社導入の理想と現実」のその後
Avatar for Ryoichi Saito saitoryc
0
370

Featured

See All Featured
Product Roadmaps are Hard
Avatar for C. Todd Lombardo iamctodd
PRO
54
11k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
Avatar for Tammy Everts tammyeverts
53
2.8k
The Success of Rails: Ensuring Growth for the Next 100 Years
Avatar for Eileen M. Uchitelle eileencodes
45
7.5k
Statistics for Hackers
Avatar for Jake VanderPlas jakevdp
799
220k
We Have a Design System, Now What?
Avatar for Morgane Peng morganepeng
53
7.7k
Rebuilding a faster, lazier Slack
Avatar for samanthasiow samanthasiow
82
9.1k
GitHub's CSS Performance
Avatar for Jon Rohan jonrohan
1031
460k
Save Time (by Creating Custom Rails Generators)
Avatar for Garrett Dimon garrettdimon
PRO
31
1.2k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
Avatar for Marc Duiker marcduiker
30
2.1k
The Cult of Friendly URLs
Avatar for Andy Hume andyhume
79
6.5k
Designing Dashboards & Data Visualisations in Web Apps
Avatar for Des Traynor destraynor
231
53k
Embracing the Ebb and Flow
Avatar for Simon Collison colly
86
4.7k

Transcript

  1. Hadoop Intro HDFS & MapReduce 1st TechParty@UIC zhique

  2. Background 1. Lucene和Nutch Lucene： 纯Java的高性能全文索引引擎工具包。 Nutch：以Lucene为基础实现的搜索引擎应用。 2. Google, GFS和MapReduce论文 Hadoop，从Nutch中剥离出来的分布式计算模块。

  3. Application 1. 阿里巴巴：垂直商业搜索引擎 2. 百度：日志分析、网页数据库 3. Facebook：日志存储、分析 4. Twitter：Tweet、用户数据存储分析 快、简单、横向扩招、不用钱！

  4. HDFS - Hadoop分布式文件系统 设计 1. 一次写入，多次读取 2. 文件系统块大小默认为64MB 3. 管理者-工作者模式

    namenode和datanode 4. 类*nix的文件操作命令 hadoop fs -mkdir books 有何缺陷？

  5. HDFS的读写模式

  6. HDFS的读写模式

  7. 避免带宽瓶颈的机制 代码往数据迁移

  8. MapReduce算法及计算框架

  9. Hadoop生态圈 1. Pig 一种数据流语言和运行环境，用以检索非常大的数据集。Pig 运行在 MapReduce和HDFS的集群上。 2. Hive 一个分布式、按列存储的数据仓库。Hive管理HDFS中存储的数据，并提供基 于

    SQL的查询语言(由运行时引擎翻译成MapReduce作业)用以查询数据。 3. HBase 一个分布式、按列存储数据库。HBase使用HDFS作为底层存储，同时支持 MapReduce的批量式计算和点查询(随机读取)。 4. ZooKeeper 一个分布式、可用性高的协调服务。ZooKeeper提供分布式锁之类的基本服务 用于构建分布式应用。

  10. References Hadoop: The Definitive Guide, O'REILLY, Yahoo!Press

  11. TechParty@UIC Thank you!