NISRA - 一手掌握的巨量資料Apache Hadoop

Transcript

1. 一手掌握的歐ㄆㄞˋ 巨量資料 Apache Hadoop
2. Who Am I 譚仲傑 (Gary Tan) 資工二甲 NISRA成員 garytan@nisra.net 第二屆Firefox校園大使 輔仁大學
3. Big Data
5. MapReduce
6. Map Reduce 映射 化簡
8. HBase
9. BigTable
10. HDFS (Hadoop Distributed File System)
11. Master Slave Slave Slave NameNode JobTracker DataNode TaskTracker DataNode TaskTracker DataNode TaskTracker
12. 知名用戶 • Yahoo! • Facebook • Fox Interactive Media • IBM • ImageShack • 資訊科學研究院 • Joost • Last.fm • Powerset • 紐約時報 • Rackspace • Veoh • 中華電信
13. Core : JAVA 介面開發 : C++/Java/Shell/Command 支援系統 : Linux、Mac OS/X、Windows Solaris
14. 優點 • 因為Java關係，Hadoop支援異質的硬體平台 • 不需要高階硬體即可運行 • 批次處理最佳化 • HDFS會自動將資料做副本，預設會做3份，當 資料毀損時，會自動讀取最近的資料
15. 缺點 • 開發者需要了解MapReduce的架構 • 各版本的差異大，應用程式相容性的問題 • 大多為指令介面，非圖形介面
16. Install
17. Please open your VMware
18. 新增一個hadoop帳號，讓管理更方便 $ sudo adduser hadoop
19. http://goo.gl/95xN1a hadoop-1.1.2.tar.gz 複製連結 $ wget https://archive.apache.org/dist/had oop/core/hadoop-1.1.2/hadoop-1.1.2.tar.gz
20. 用力的解壓縮下去 $ tar zxvf hadoop-1.1.2.tar.gz 再把他禁錮起來(誤 $ sudo mv hadoop-1.1.2 /opt
21. 安裝Java JDK 去Oracle官網載 Linux x64 載完用ftp丟進主機吧
22. 再繼續解壓縮&禁錮 $ tar zxvf jdk-7u51-linux-x64.gz $ sudo mv jdk1.7.0_51 /opt
23. 安裝SSH $ sudo apt-get install ssh $ sudo apt-get install openssh-server $ sudo apt-get install rsync
24. 編輯主機設定檔 /etc/hosts 127.0.0.1 localhost 192.168.0.100 hdp0 192.168.0.101 hdp1 192.168.0.102 hdp2 192.168.0.103 hdp3 (hostname 在 /etc/hostname 中修改)
25. 環境變數設定 /home/user/.bashrc export JAVA_HOME=/opt/ jdk1.7.0_51 export HADOOP_HOME=/opt/hadoop-1.1.2 export PATH=$PATH:$HADOOP_HOME/bin:$J AVA_HOME/bin
26. 環境變數設定 /opt/hadoop-1.1.2/conf/hadoop-env.sh export JAVA_HOME=/opt/jdk1.7.0_51 export HADOOP_HOME=/opt/hadoop-1.1.2
27. HADOOP_HEAPSIZE：設定HEAP檔案大小， Hadoop系統能同時處理的最大資料量預設值 為1000MB HADOOP_LOG_DIR：Log目錄 HADOOP_SLAVES：指定slave主機設定檔 HADOOP_MASTER：指定master主機設定檔 其他環境變數可以設定
28. 環境變數設定 /opt/hadoop-1.1.2/conf/ $ sudo vim masters hdp0 $ sudo vim slaves hdp0 hdp1 hdp2 hdp3
29. 雲端系統設定檔 /opt/hadoop-1.1.2/conf/core-site.xml <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> </property> </configuration>
30. $ mkdir /home/hadoop/dfs/name $ mkdir /home/hadoop/dfs/data 建立放置NameNode與DataNode資料的目錄
31. 設定檔 /opt/hadoop-1.1.2/conf/hdfs-site.xml 設定HDFS的檔案複製數量 <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>
32. 設定檔 /opt/hadoop-1.1.2/conf/mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> <property> <name>dfs.name.dir</name> <value>/home/hadoop/dfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/dfs/data</value> </property> </configuration>
33. 建立SSH金鑰安全連線 建立ssh連線免密碼登入 $ ssh-keygen -t rsa $ cd /home/hadoop/.ssh $ cat id_rsa.pub >> ~/.ssh/authorized_keys
34. 格式化Hadoop $ cd /opt/hadoop-1.1.2/bin $ ./hadoop namenode –format 啟動Hadoop雲端系統 $ ./start-all.sh
35. 執行的時候出現 $HADOOP_HOME is deprecated 在/opt/hadoop-1.1.2/conf/hadoop-env.sh中加入 export HADOOP_HOME_WARN_SUPPRESS="TRUE"
36. starting namenode, logging to /opt/hadoop/logs/hadoop- hduser-namenode-ubuntu.out localhost: starting datanode, logging to /opt/hadoop/logs/ hadoop-hduser-datanode-ubuntu.out localhost: starting secondarynamenode, logging to /opt/ha doop/logs/hadoop-hduser-secondarynamenode-ubuntu.out starting jobtracker, logging to /opt/hadoop/logs/hadoop-hd user-jobtracker-ubuntu.out localhost: starting tasktracker, logging to /opt/hadoop/logs/h adoop-hduser-tasktracker-ubuntu.out
37. only Q & no A