Фёдор Ерастов. hive> drop table, или история обновления схемы. Um MeetUp #6

Фёдор Ерастов, инженер-разработчик в проекте Lumiere (Cinema) "Модели пользователя".
Um MeetUp #6
Тема: hive> drop table, или история обновления схемы.
Кулстори об одном "успешном" обновлении схемы таблицы в hive, какие интересные особенности поведения hive мы при этом узнали, и много мемов.

Transcript

1. hive> drop table или история обновления схемы
2. Я: Фёдор Ерастов Инженер-разработчик в rambler/adtech/usermodel
3. • узнать про hive и hdfs • узнать о видах таблиц в hive • примерно понимать, что делать с кастомными форматами в hive • послушать кулстори и хорошо провести время :) Зачем?
6. Hive Ход работы: 1. Добавить поле в таблицу с сырыми логами 2. Добавить поле в ORC таблицу 3. Создать (восстановить) партиции на обеих таблицах 4. Поправить скрипт перекачивания Kafka Fetcher raw Храним: 1 месяц ORC Храним: 2 года HDFS Скрипт
7. 1. Добавить поле через ALTER 2. Удалить партиции 3. Создать партиции заново 1. Удалить таблицу 2. Создать таблицу заново, с нужным полем 3. Восстановить партиции через MSCK REPAIR
9. MANAGED TABLE • Команды: ARCHIVE, UNARCHIVE, TRUNCATE, MERGE, CONCATENATE • ACID/Транзакционность • Кэширование запросов • Команда DROP удаляет ВСЁ!!! EXTERNAL TABLE • Подключение любых хранилищ • Команда DROP удаляет только метаинформацию
10. raw Храним: 1 месяц ORC Храним: 2 года
15. Hive Kafka Fetcher raw Храним: 1 месяц ORC Храним: 2 года HDFS Скрипт json begun Храним за все времена, примерно 3 года!
16. Восстановить из сырых?
17. ~95 Tb
18. Надо парсить. А как?
19. Вариант 1 • CREATE TABLE .. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' • Затем split(column, ‘=’)[1]
20. Вариант 2 • RegexSerDe
21. Вариант 3 • Пишем свой BegunSerDe на дЖаВе
22. SerDe Файл в hdfs Строки в hive таблице Deserialize Чтение SerDe Файл в hdfs Строки в hive таблице Serialize Запись
23. В итоге: • Всё успешно распарсилось • Перекачалось • Данные восстановлены • А я всё ещё работаю в Rambler
24. Записки на полях • НЕ ДЕЛАТЬ DROP TABLE ПРИ ДОБАВЛЕНИИ ПОЛЕЙ!!!! • Убедиться, что создана домашняя директория в HDFS • На всякий случай подучить Джаву • Быть аккуратнее с DROP TABLE, в принципе
25. Ваши вопросы..