Фрактальные методы как альтернатива методам Фурье для быстрого поиска периодичности во временных рядах (Артем Просветов, Data Scientist CleverDATA)

Презентация выступления Артема Просветова, Data Scientist-а CleverDATA, на научном семинаре конференции Big Data Conference 2017 (https://bigdataconf.org).
Анализ временных рядов - задача, с которой традиционно сталкиваются исследователи данных. Артем поделился своими наработками и наблюдениями на примере анализа данных из области астрофизики.

Transcript

1. Text mining of Beauty Blogs: Фрактальные методы как альтернатива методам Фурье для быстрого поиска периодичности во временных рядах Артем Просветов Data Scientist, CleverDATA
2. Входит в тройку лидеров российских ИТ компаний. 43 подразделения в России и за рубежом. Более 8000 сотрудников. Развитие бизнеса на международном рынке. О компании CleverDATA – технологический провайдер в сфере поставки и управления данными Команда инженеров Big Data Команда Data Scientists Собственные центры разработки
3. cleverdata.ru | info@cleverdata.ru Традиционно исследовали данных сталкиваются с задачей анализа временных рядов. Такие задачи можно встретить в областях: Анализ временных рядов • retail; • посещаемость сайта; • биржевые данные; • нагрузка электросети; • акустические сигналы; … • астрофизика! Для некоторых из задач оказываются ключевыми вопросы: • Присутствует ли периодичность в данных? • В какие моменты периодичность возникает и когда пропадает?
4. cleverdata.ru | info@cleverdata.ru Пример: характерная кривая блеска аккрецирующей черной дыры Хаотичная форма и самоподобие на разных масштабах говорят о возможном присутствии фрактальных свойств у сигнала
5. cleverdata.ru | info@cleverdata.ru Низкочастотный шум (LFN) и квазипериодические осцилляции (QPO) в кривых блеска Квазипериодические осцилляции
6. cleverdata.ru | info@cleverdata.ru QPO – увлекательная загадка! QPO встречаются в наблюдениях: - Различных обсерваторий; - У различных объектов; - Не имеют исчерпывающего физического объяснения;
7. cleverdata.ru | info@cleverdata.ru Форма временного ряда – тоже информация! D = ln(4)/ln(3) ≈ 1.26
8. cleverdata.ru | info@cleverdata.ru R/S анализ D = 2 − H
9. cleverdata.ru | info@cleverdata.ru Пример R/S метода Отличие ~ 30% Исходный временной ряд: Белый шум Белый шум + периодические всплески Вычтено среднее и нормировано на σ: Накопленная сумма: Метод восприимчив к регулярным пикам на временном ряде
10. cleverdata.ru | info@cleverdata.ru Пример R/S метода Белый шум + периодические всплески Белый шум + периодические всплески с затуханием Исходный временной ряд: Вычтено среднее и нормировано на σ: Накопленная сумма: Отличие ~ 68% Метод дает возможность оценить время затухания единичного пика
11. cleverdata.ru | info@cleverdata.ru Пример R/S метода Отличие ~ 76% Белый шум + периодические всплески Белый шум + периодические всплески с затуханием Исходный временной ряд: Накопленная сумма: Вычтено среднее и нормировано на σ: На малых временных масштабах, метод также дает возможность оценить время затухания единичного пика
12. cleverdata.ru | info@cleverdata.ru Короткие экспозиции D = 1.13 +/- 0.02 D = 1.13 +/- 0.02 D = 1.14 +/- 0.02
13. Y1 = a x + const Y2 = a x + a log2 (θ) + const Stoev et al (2006) cleverdata.ru | info@cleverdata.ru Max-Spectrum analysis
14. cleverdata.ru | info@cleverdata.ru Leadbetter et al [1983] Extremal index θ
15. cleverdata.ru | info@cleverdata.ru Интуитивная интерпретация 1/θ: Средний размер кластера экстремумов в исследуемом временном ряде Extremal index θ
16. cleverdata.ru | info@cleverdata.ru R/S алгоритм удобно использовать для поиска периодических сигналов во временном ряде сложность алгоритма R/S анализа O(n), в то время как сложность Фурье анализа O(n log n) R/S алгоритм дает результаты на коротких экспозициях R/S алгоритм возможно распараллелить для повышения скорости расчетов Резюме
17. cleverdata.ru | info@cleverdata.ru - Новые признаки, характеризующие шум и отражающие присутствие периодичности, а также средний размер кластера экстремумов во временном ряде; - Поиск наблюдений с QPO в большом объеме архивных данных рентгеновских обсерваторий; - Планирование и корректировка программы наблюдений (присутствие QPO в сигнале можно выявить в процессе самого наблюдения). Приложения