No content

TSFR #18 - LispTick Traitement efficient des timeseries en pur streaming Les avantages du streaming Un nouveau format compact et efficace Les principes de LispTick Des exemples/calculs en Live TSFR#18 2 / 21

Présentation Ingénieur CY Tech DEA Traitement du signal, PhD Neurocybernetic 20 ans R&D salle des marchés BNP Paribas Et depuis 2021... TSFR#18 3 / 21

Les avantages du streaming Empreinte mémoire faible Aucune contrainte sur la taille des séries Fonctionne sur de petites configurations (RPi, Onion Oméga) Libère les ressources mémoire pour le reste du système Edge computing, minimise les transferts Faible consommation électrique Combiner des milliers de séries Premiers résultats quasi immédiats Temps Réel TSFR#18 4 / 21

Stockage des Time Series La volumétrie: Refinitiv, marchés financiers 1 journée, 28 février 2020 817 instruments financiers 21 632 séries 2 639 253 275 valeurs différentes. TSFR#18 5 / 21

Stockage des Time Series La volumétrie: Refinitiv Format Taille en MB Réduction csv 91 995 1 csv.gz 2 823 33 csv.xz 2 289 40 Cassandra 20 000 5 TSFR#18 6 / 21

Stockage des Time Series Apache Parquet: Refinitiv Format Taille en MB Réduction csv 91 995 1 csv.xz 2 289 33 Parquet Snappy 4 340 21 Parquet LZ4 4 320 21 Parquet gzip 2 530 36 Parquet Zstd 2 490 37 Parquet Brotli 2 260 41 TSFR#18 7 / 21

Stockage des Time Series LispTick: Refinitiv Format Taille en MB Réduction csv 91 995 1 csv.xz 2 289 33 Parquet Snappy 4 340 21 Parquet Brotli 2 260 41 LispTick 1 254 73 TSFR#18 8 / 21

Stockage des Time Series La volumétrie: Météonet 3 ans toutes les 6 minutes 862 stations 7242 séries 1 611 977 608 valeurs différentes. https://meteonet.umr-cnrm.fr/ ground stations TSFR#18 9 / 21

Stockage des Time Series La volumétrie: Météonet Format Taille en MB Réduction csv 13 180 1 csv.gz 1 810 7 csv.xz 837 16 Cassandra 12 300 1 TSFR#18 10 / 21

Stockage des Time Series Apache Parquet: Météonet Format Taille en MB Réduction csv 13 180 1 csv.xz 837 16 Parquet Snappy 1 730 8 Parquet LZ4 1 540 9 Parquet gzip 954 14 Parquet Zstd 876 15 Parquet Brotli 866 15 TSFR#18 11 / 21

Stockage des Time Series LispTick: Météonet Format Taille en MB Réduction csv 13 180 1 csv.xz 837 16 Parquet Snappy 1 730 8 Parquet Brotli 866 15 LispTick 304 43 TSFR#18 12 / 21

Stockage des Time Series La volumétrie: IoT, fabricant de piscines connectées messages gRPC toutes les 10 secondes 2600 piscines 250 séries par bassin 7.2 milliards de valeurs par jour TSFR#18 13 / 21

Stockage des Time Series LispTick: IoT, données quotidiennes Format Taille en MB Réduction raw 250 000 1 raw.gz 75 000 3 raw.xz 911 274 LispTick 107 2300 TSFR#18 14 / 21

Qu'est ce que LispTick ? LispTick Serveur de calcul dédié Time Series Approche pure streaming Part toujours de la donnée source Enchaine les traitements à la volée Ecosystème Time Series: → format compact et rapide → clients possibles dans différents langages → interface web et bac à sable pour le dev et + TSFR#18 15 / 21

LispTick Pourquoi Lisp ? Lisp est la plus ancienne famille de langages de programmation à la fois impératifs et fonctionnels: Facile à parser Se prête bien à l'encapsulation Code compact Lisible dans les cas simples TSFR#18 16 / 21

LispTick Pourquoi Tick ? Qu'est-ce qu'un Tick ? Un tick est une mesure du mouvement minimum à la hausse ou à la baisse du prix d'un titre. TSFR#18 17 / 21

LispTick Architecture TSFR#18 18 / 21

LispTick Architecture détaillée... TSFR#18 19 / 21

LispTick prise en main Wiki, Exemples et Bac à sable https://lisptick.org https://lisptick.kereon-intelligence.com TSFR#18 20 / 21

La corrélation Hayashi-Yoshida On covariance estimation of non-synchronously observed diffusion processes Finance Santé des abeilles (ruche connectée) Météo (... marée barométrique !? ...) TSFR#18 21 / 21