Hive and Starting guide for migrating data

Hive is one of ecosystem of Hadoop. Services for migrating data from RDBMS to HDFS(Hadoop Distributed Filesystem) on format of large data set.

Transcript

1. โดย ฉัตรศิริ รัตนา
2.  สถาปัตยกรรม Hive  Hive Services  Hive Top Level Application ที่อยู่เหนือ Hadoop  Hadoop Distributed Filesystem (HDFS)  Data types support SQL-92 , Extension Types  Partition , Bucket และ RCFiles  การย้ายระบบจาก RDBMS มาใช้งานระบบไฟล์ HDFS ภายใน Hive
3. JDBC , Thrift, ODBC Application Hive Server Driver Metastorage Filesystem MySQL, Oracle, SQL Server,Derby JobClient Hadoop Cluster
4.  เป็นส่วนTop Level Application ที่อยู่เหนือ Hadoop  รองรับการท างานระบบไฟล์ Hadoop Distributed Filesystem (HDFS)  ไม่ใช่ OLTP (Online Transaction Processing)  ใช้งานร่วมกับ SQL-92 ได้แต่มีส่วนเพิ่มเติมชนิดข้อมูล  มีเครื่องมือที่ช่วยในการย้ายระบบจาก RDBMS มาใช้งานระบบไฟล์ HDFS  สามารถเลือกเก็บข้อมูลด้วยวิธี Partition, Bucket และชนิดการเก็บ RCFiles
5.  CLI (Command Line Interface) : ค ำสั่งที่ใช้ในกำรจัดกำร SQL  Hive Server: ท าหน้าที่ในการติดต่อระหว่าง CLI กับ HDFS ภายใน Hive  Jar: สามารถอ่าน Jar file เพื่อเรียกโปรแกรม Jar ให้ท างานร่วมกับ Hive  Metastore: เก็บข้อมูลในรูปแบบของ RDBMS แบบเดิม  Rcfiles: เก็บข้อมูลที่ช่วยในการจัดการชุดข้อมูลที่มี Columns ขนาดเล็ก
6.  Metastorage คืออะไร?  HDFS ที่ใช้งานใน Hive มีความแตกต่างกันอย่างไรกับ HDFS ปกติ?  ลักษณะการท างาน ของ Mode ที่ Run Hadoop ◦ Local Mode ◦ Pseudodistributed Mode ◦ Distributed Mode
7. ◦ Split Data ◦ Mapper ◦ Sorting and Merge ◦ Reducer
8. แมว, doc2 หมา,doc2 กระรอก, doc2 หนูพุก, doc2 แมว, list( doc1, doc 2) เรียงล าดับ แมว, doc1 หมา, doc1 หนูพุก, doc1 กระรอก, list(doc2) หมา,list(doc1,doc2) หนูพุก, list(doc1, doc2) ลดทอน 1 ลอทอน 2 ลดทอน 3
9.  ชนิดตัวแปรที่รองรับ QL-92 ◦ INT,STRING,FLOAT, DOUBLE, BOOLEAN, BINARY, TIMESTAMP,BIGING, SMALLINT, TINYINT  ชนิดตัวแปรที่เพิ่มเติมจาก SQL-92 ◦ MAP, ARRAY, STRUCT  สามารถเลือกเก็บข้อมูลด้วยวิธี Partition, Bucket และชนิดการเก็บ RCFiles
10.  Partition ชนิดของข้อมูล แยกให้คิวรีเพราะข้อมูลที่ถูก Partition  Bucket คือการสร้าง Map Joins ข้อมูล ├── dt=2001-01-01 │ ├── country=GB │ │ ├── file1 │ │ └── file2 │ └── country=US │ └── file3 └── dt=2001-01-02 ├── country=GB │ └── file4 └── country=US └── file5
11. • RCFiles การคิวรีข้อมูลขนาดคอลัมน์เล็กๆ ด้วยเทคนิคเปลี่ยนคอลัมน์ให้เป็น แถว 1 2 3 4 5 6 7 8 9 1 4 2 5 3 6 7 10 8 11 12 10 9 12 11 Row-Oriented layout ( SequenceFile) Column-Oriented layout (RCFile) Row split 1 Row split 2
12.  Sqoop ท าหน้าที่ ย้ายข้อมูลเข้า HDFS และ ย้ายข้อมูลเข้า HIVE Client Sqoop MapReduce Data Source Mysq, SQL Server, Oracle RDBMS Map( Sqoop ) Map( Sqoop ) Map( Sqoop ) Hive , HBase, HDFS Hive , HBase, HDFS Hive , HBase, HDFS
13.  Tom White. Hadoop:The Definitive Guide(Third Edition). 3rd. United States of America: O’Reilly Media, 2012  Alex Holmes, Hadoop in Practice. 1th. New York: Manning Publications Co, 2012  Edward Capriolo, Dean Wampler and Jason Rutherglen. Programming Hive. 1th. United States of America: O’Reilly Media, 2012