Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
node.js for millions of images
Search
Ivan Babrou
October 25, 2012
Programming
7
1.4k
node.js for millions of images
Ivan Babrou
October 25, 2012
Tweet
Share
More Decks by Ivan Babrou
See All by Ivan Babrou
LXJS 2013: backpack — scalable photo storage
bobrik
2
150
Other Decks in Programming
See All in Programming
バイブコーディング超えてバイブデプロイ〜CloudflareMCPで実現する、未来のアプリケーションデリバリー〜
azukiazusa1
3
800
バイブスあるコーディングで ~PHP~ 便利ツールをつくるプラクティス
uzulla
1
330
Claude Code と OpenAI o3 で メタデータ情報を作る
laket
0
110
なぜ今、Terraformの本を書いたのか? - 著者陣に聞く!『Terraformではじめる実践IaC』登壇資料
fufuhu
4
500
11年かかって やっとVibe Codingに 時代が追いつきましたね
yimajo
1
240
中級グラフィックス入門~効率的なメッシュレット描画~
projectasura
4
2.5k
大規模FlutterプロジェクトのCI実行時間を約8割削減した話
teamlab
PRO
0
450
リッチエディターを安全に開発・運用するために
unachang113
1
360
新しいモバイルアプリ勉強会(仮)について
uetyo
1
250
MySQL9でベクトルカラム登場!PHP×AWSでのAI/類似検索はこう変わる
suguruooki
1
290
Reactの歴史を振り返る
tutinoko
1
170
書き捨てではなく継続開発可能なコードをAIコーディングエージェントで書くために意識していること
shuyakinjo
0
230
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
How to train your dragon (web standard)
notwaldorf
96
6.2k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
GraphQLとの向き合い方2022年版
quramy
49
14k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Gamification - CAS2011
davidbonilla
81
5.4k
Code Review Best Practice
trishagee
69
19k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
GitHub's CSS Performance
jonrohan
1031
460k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Transcript
Хранилище для миллинов картинок на node.js (а почему бы и
да) Wednesday, October 24, 12
Что есть 40+ миллионов пользователей 1.5 миллиона уников в сутки
15 пользовательских фоток на главной 60 пользовательских фоток в ленте 60 килобайт на фото в среднем 10 терабайт данных Wednesday, October 24, 12
Роли Frontend Cache Resizer Backend Wednesday, October 24, 12
Frontend nginx SSL termination Upstream hash Смотрят в интернет Wednesday,
October 24, 12
Cache nginx tmpfs proxy_next_upstream Больше ничего Wednesday, October 24, 12
Resizer nginx image_filter proxy_next_upstream lua Wednesday, October 24, 12
А дальше всё становится плохо. Wednesday, October 24, 12
Особенности 99% времени серверов с данными - IO “Long tail”
problem Невозможно выровнять чтения Попасть в кеш в 3Тб данных непросто Wednesday, October 24, 12
Диски тормозят Память в 100 000 раз быстрее диска, но
диски надёжнее и вместительнее. Wednesday, October 24, 12
Решения nginx хватит (btrfs, reiserfs, *fs) Haystack (facebook) Elliptics (yandex)
Wednesday, October 24, 12
Yeah, well, I'm gonna go build my own theme park,
with blackjack and hookers. In fact, forget the park! Wednesday, October 24, 12
backpack Задумка из Haystack Proof of concept + Wednesday, October
24, 12
Backend node.js redis Файлы по 4Gb Wednesday, October 24, 12
Как это изнутри node.js redis disk: - data_XXX (4Gb) -
metadata_XXX Метаданные всегда в памяти. Для чтения всегда только 1 вызов pread Wednesday, October 24, 12
Redis Очень быстрый (даже слишком) Информация в бинарном виде Было:
/u124/z1dg23.jpg Будет:{file:1}{offset:4}{length:4} Минимальная нагрузка на диск (AOF) Wednesday, October 24, 12
node.js javascript Асинхронная работа Постоянно открытые файлы Постоянное соединение к
redis 1 поток (на самом деле нет) Wednesday, October 24, 12
Потоки (streams) Http запросы и ответы: req, res Data Writer:
req.pipe(writer) Data Reader: reader.pipe(res) Wednesday, October 24, 12
Только ультахардкор Выравнивание чтений (O_DIRECT) Посчитать дешевле +50% к пропускной
способности Более ровный график использования IO Модуль для node.js (aligned-buffer) Wednesday, October 24, 12
Грабли O_DIRECT Записи должны быть выровнены Линус не одобряет (fadvice/madvice)
Повторное чтение не идёт в кеш Wednesday, October 24, 12
Тестирование 40Gb данных (малая часть) 500K файлов Случайное чтение в
50 потоков Без записи Wednesday, October 24, 12
Графики: backpack 0 225 450 675 900 backpack-a backpack-a-dc3 backpack
-a: выровненные чтения -dc3: каждые 5 секунд echo 3 > /proc/sys/vm/drop-cache Wednesday, October 24, 12
Графики: nginx 0 225 450 675 900 nginx nginx-dс nginx-dc3
-a: выровненные чтения -dc: каждые 5 секунд echo 1 > /proc/sys/vm/drop-cache -dc3: каждые 5 секунд echo 3 > /proc/sys/vm/drop-cache Wednesday, October 24, 12
Графики: вместе 0 225 450 675 900 backpack-a-dc3 nginx-dс nginx-dc3
-a: выровненные чтения -dc: каждые 5 секунд echo 1 > /proc/sys/vm/drop-cache -dc3: каждые 5 секунд echo 3 > /proc/sys/vm/drop-cache Wednesday, October 24, 12
Где скачать? Доведём до ума и сделаем Open Source! Wednesday,
October 24, 12
Шардинг Фронтенды: dns round-robin Кеши: upstream hash + хаки Ресайзеры:
выбирай любой Данные: (D)HT - почти как в торрентах Wednesday, October 24, 12
Hash map Хеш: (md5(соль + user_id))[0:2] Начальный хеш: [read], [write]
00: [1,2,3], [1,2,3] (от 00 до 39) 40: [5,6,7], [5,6,7] (от 40 до 80) 80: [8,9,10], [8,9,10] (от 80 до ff) Wednesday, October 24, 12
Почему не уникальный hash на картинку Так вышло К тому
же, мы не хостинг скриншотов Сложнее вычислить все урлы картинок Неравномерное использование ресурсов Wednesday, October 24, 12
Как всем рулить Конфигурация Обработка задач Мониторинг Wednesday, October 24,
12
Конфигурация: Zookeeper Отказоустойчивость до конца Hash table для данных Хранение
данных серверов Задачи Wednesday, October 24, 12
Обработка задач: crons Кроны разбиения стораджа Разбиение Очистка Репликация картинок
Кроны скачивания картинок data data data Wednesday, October 24, 12
Мониторинг: zabbix Мониторининг io (сервера данных) Мониторинг cpu (ресайзеры) Сокеты,
сеть, всё что захотите Wednesday, October 24, 12
Миграция Перелопатить весь код Скачать все картинки Нагреть кеш Докачивать
новые Wednesday, October 24, 12
Как переживать падения Падения будут всегда Убрать точки отказа Спокойно
падать Иметь возможность восстановиться Wednesday, October 24, 12
Вопросы? Иван Бобров http://github.com/bobrik @ibobrik Wednesday, October 24, 12
Wednesday, October 24, 12