railsclub 14

Transcript

1. Big Data и Ruby Равиль Байрамгалин @brainopia
2. Обработка данных поверх множества серверов: • удобная модель автоматического распределения данных и вычислений по серверам • отказоустойчивость • минимизация перемещения данных по сети Big Data
3. • Hadoop Distributed File System (HDFS) — распределяет данные • Hadoop MapReduce — распределяет вычисления Hadoop
4. • распределенная файловая система • хранит файлы блоками по 128МБ • распределяет отдельные блоки по разным серверам • реплицирует каждый блок 3 раза HDFS
5. MapReduce
6. Hadoop Streaming
7. Word Count: mapper.rb STDIN.each do |line| line.split.each do |word| puts [word, 1].join("\t") end end
8. Word Count: counter.rb STDIN .chunk {|line| line.split.first } .each do |key, lines| puts [key, lines.size].join "\t" end
9. Word Count • Local: cat test | ruby mapper.rb | sort | ruby counter.rb • Hadoop: hadoop jar hadoop-streaming-2.5.1.jar \ -input myInputDirs \ -output myOutputDir \ -mapper mapper.rb \ -reducer counter.rb \ -file mapper.rb \ -file counter.rb
10. Отчет • Таблицы Users: id, age Messages: sender_id • Задача: Распределение сообщений по возрасту
11. Отчет: job 1 sqoop import --table messages --columns sender_id ... mapper: identity reducer: counter.rb
12. Отчет: job 2 $ sqoop import --table users --columns id,age ... mapper: STDIN.each do |line| if line.includes? ',' id, age = line.split(',') puts [id, :age, age].join "\t" else id, count = line.split puts [id, :count, count].join "\t" end end
13. Отчет: job 2 reducer: STDIN .lazy .map {|line| key, type, value = line.split { sender: key, type.to_sym => value } } .chunk {|hash| hash[:sender] } .each do |sender, hashes| data = hashes.inject({}, :merge) puts [data[:age], data[:count]].join "\t" end
14. Отчет: job 3 mapper: identity reducer: counter.rb
15. Плюсы • Простая масштабируемая модель вычислений • Эффективность за счет больших батчей и локальности данных • Отказоустойчивый Минусы • Все пишется на диск • Слишком низкоуровневый • Невозможность итеративных алгоритмов • Невозможность потоковой обработки
16. Storm Распределенный реалтайм процессинг потоков данных
17. Топология
18. Потоковый Word Count class RandomSentence < RedStorm::DSL::Spout on_init { @sentences = [...] } on_send { @sentences.sample } end
19. Потоковый Word Count class RandomSentence < RedStorm::DSL::Spout on_init { @sentences = [...] } on_send { @sentences.sample } end class SplitSentence < RedStorm::DSL::Bolt on_receive do |sentence,| sentence.split.map {|word| [word] } end end
20. Потоковый Word Count class RandomSentence < RedStorm::DSL::Spout on_init { @sentences = [...] } on_send { @sentences.sample } end class SplitSentenceBolt < RedStorm::DSL::Bolt on_receive do |sentence,| sentence.split.map {|word| [word] } end end class WordCountBolt < RedStorm::DSL::Bolt on_init { @counts = Hash.new 0 } on_receive {|word,| [word, @counts[word] += 1] } end
21. class WordCountTopology < RedStorm::DSL::Topology spout RandomSentence do output_fields :sentence end bolt SplitSentenceBolt do output_fields :word source RandomSentence end bolt WordCountBolt, parallelism: 2 do output_fields :word, :count source SplitSentenceBolt, fields: ['word'] end configure :word_count do num_workers 4 end end
22. Особенности • Подходит для реалтайм потоков данных, мониторинга, алертинга, DRPC, анализа по временным интервалам • Не подходит для полноценного анализа по всем данным
23. Lambda Architecture • Храним все входные данные в необработанном виде • Для анализа данных создаем подходящие материализованные представления • Как получить реалтайм представления?
28. Lambda архитектура по-нашему • Не хотим писать одинаковые вычисления для разных платформ • Не хотим поддерживать две полностью разных платформы • Не хотим пересчитывать все данные, если код остался неизменным или незначительно изменился.
29. Стриминг на стероидах • Реактивные связи для автоматического инкрементализма вычислений — возможность стримить не только новые значения, но и откатывать предыдущие • Интеграция с хранилищем — exactly-once семантика, эффективность через колокацию данных (отсутствие распределенных локов и сетевого оверхеда ), отказоустойчивость через репликацию
30. • Floq — система очередей с простой коллокацией данных, батчингом, отказоустойчивостью (сайдкик не является ни одним из этих пунктов) • Flow — реактивный стриминг для реалтайм представлений
31. request_flow(event_map) .if_match(:cookie) .if_match(:user_id) .tap do |flow| flow.target timeline(:user) flow.target timeline(:logins) end request_flow('session_create' => :prepare_session) .match_time timeline(:logins), after: true do |session, user| session.merge user_id: user[:user_id] end
32. Другие интересные системы • Spark • SummingBird • Samza
33. @brainopia Буду рад общению с вами!