Calculez vos indicateurs en temps réel

Le Big Data touche le paroxysme de sa médiatisation. Tout est devenu Big Data, mélangeant nouvelles approches métiers, technologies et business models.

De vraies opportunités se présentent toutefois. Ainsi, la capacité à suivre en temps réel les indicateurs clés du business à partir d’un nombre croissant de sources de données est un challenge que le « Big Data » peut relever.

Découvrez, au travers d'un retour d'expérience commun EDF R&D/OCTO Technology, comment Storm peut vous permettre de relever ce défi.

Compte-rendu du petit-déjeuner : http://bit.ly/1dpbNgF

Transcript

1. 1! © OCTO 2013 © OCTO 2013 Calculez vos indicateurs en temps réel En partenariat avec EDF R&D
2. 2! © OCTO 2013 OCTO et le Big Data Une offre cohérente entre technologie et analyse prédictive CONSEIL EN SI BIG DATA ! Etude et positionnement des solutions en fonction de votre contexte ! Transformation de SI Décisionnel vers le Big Data ! Cadrage de projets Big Data ARCHITECTURE DES SYSTÈMES BIG DATA ! POC sur Hadoop et NoSQL ! Conception et réalisation de systèmes sous Hadoop et NoSQL ! Formation Hadoop CONSEIL EN ANALYSE DE DONNÉES AVANCÉES ! Benchmarks de projets Big Data par secteur ! Formation des équipes de datamining aux techniques Big Data ! Accompagnent des projets pilote métiers COLLECTE DE DONNÉES EXTERNES ! Identification de sources de données ! Collecte et traitements de données non structurées ! Recherche de corrélations économiques DIRECTION SI DIRECTION MÉTIER
3. 3! © OCTO 2013 " Une équipe dédiée, composée de "   Experts et architectes sur les clusters de stockage et de calcul "   Statisticiens et consultants en machine learning " Une R&D spécifique sur Hadoop, NoSQL et le machine learning " Des relations très approfondies avec les équipes R&D de nos partenaires " Hortonworks " MapR " Cloudera "   10Gen Mongodb " Datastax Cassandra L’équipe OCTO Big Data Analytics
4. 4! © OCTO 2013 Intervenants Julien CABOT Directeur Big Data Analytics OCTO jcabot@octo.com Benoît Grossin Ingénieur Chercheur EDF R&D benoit.grossin@edf.fr Rémy SAISSY Architecte OCTO rsaissy@octo.com Marie-Luce PICARD Chef de projet EDF R&D marie-luce.picard@edf.fr
5. 5! © OCTO 2013 " Etat des lieux du Big Data " Les enjeux du Big Data chez EDF par EDF R&D " Questions/réponses " Retour d’expérience sur une expérimentation d’analyse d’indicateurs en temps réel avec Storm chez EDF R&D " Questions/réponses " Bilan Agenda
6. 6! © OCTO 2013 © OCTO 2013 Etat des lieux du Big Data
7. 7! © OCTO 2013 Un concept devenant une réalité pour les entreprises françaises Big Data, une écosystème multiple WEB Google, Amazon, Facebook, Twitter, … Logiciel IT IBM, Teradata, Vmware, EMC, … Management McKinsey, BCG, Deloitte, …
8. 8! © OCTO 2013 " Le Data mining sur signaux forts et faibles "   Données exogènes "   Données issues des infrastructures de production " Le dépassement du « mur capacitaire » des appliances décisionnelles "   Stocker plus pour un coût significativement inférieur "   Banalisation des technologies de calculs Projets Big Data en 2013-2014
9. 9! © OCTO 2013 Big Data, un univers technologique pour construire des systèmes à haute performance Application orientée Flux évènementiel ! Application orientée Transaction ! Application orientée Stockage ! Application orientée Calculs ! Univers « standard » ! SGBDR, ! Serveur d’application, ! ETL, ESB ! Au-delà de 10 To en ligne, les architectures « classiques » nécessitent des adaptations logiques et matérielles très importantes. Au-delà de 1 000 transactions/seconde, les architectures « classiques » des adaptations logiques et matérielles très importantes Au-delà de 10 threads/Core CPU, la programmation séquentielle classique atteint ses limites (IO). Au-delà de 1 000 évènements/seconde, les architectures « classiques » nécessitent des adaptations logiques et matérielles très importantes. Stockage distribué Share nothing " XTP " Programmation parallèle " Event Stream Processing "
10. 10! © OCTO 2013 Types de solutions Application orientée Flux évènementiel ! Application orientée Transaction ! Application orientée Stockage ! Application orientée Calculs ! Parrallel database NoSQL NewSQL Stream Processing Grid Computing GPU Hadoop Base de données
11. 11! © OCTO 2013 Une limite commune aux systèmes informatique! " La racine commune à toutes ces limites est le « throughput » des I/O
12. 12! © OCTO 2013 Le problème : le gain en débit des disques est très en retard par rapport à leur capacité 0 10 20 30 40 50 60 70 1991 1996 1998 2001 2006 Débit (MB/s) Gain : x91" 64 MB/s 0,7 MB/s Seagate! Barracuda! 7200.10! Seagate! Barracuda! ATA IV! IBM DTTA! 35010! Gain : x100 000" 1990 Gain : < x100 seulement !"
13. 13! © OCTO 2013 Stratégies pour dépasser les limites du troughput Architecture InMemory •  Réduire la latence en utilisant des supports plus rapide (DRAM, SSD) •  Bénéficier de l’évolution des capacités des composants •  La limite structurelle n’est pas que déplacée •  Pour évoluer, l’architecture doit devenir une grille InMemory Architecture en grille •  Paralléliser les accès IO en divisant les volumes (sharding) •  Bénéficier du différentiel de coût entre commodity hardware et haut de gamme •  Le réseau de la grille devient un composant principal, nécessitant co-localisation des données et des traitements •  Permet de scaler à l’infini, c’est le Warehouse scale computing!
14. 14! © OCTO 2013 Familles de solutions d’analyse en streaming Complex Event Processing In Memory Streaming Grid •  Solution dédiée au stream processing •  Pas de capacité de stockage •  Architecture orientée serveur •  Options de streaming •  Base de données In Memory •  Event triggers •  Partitionnement •  Le temps comme une dimension d’analyse •  Grille de traitement In memory •  Event triggers, pub/sub •  Share nothing sharding •  Le Temps comme une partie de la clef STORM HANA STREAMS
15. LES ENJEUX DU BIG DATA À EDF, LE POINT DE VUE D’EDF R&D
16. | 16 SMART GRIDS "SMART METERS " SMART DATA •  Partout'dans'le'monde'des'projets'smart0grids'voient'le'jour,'mo5vés'par'des'contraintes' économiques'ou'régulatoires,'ou'encore'par'des'besoins'environnementaux.'Avec'le'développement' de'nouveaux'usages'comme'le'véhicule'électrique,'avec'l’augmenta5on'des'moyens'de'produc5on' décentralisée,'de'nouvelles'perspec5ves'apparaissent'pour'la'ges5on'de'l’énergie.'Un'très'grand' nombre'de'compteurs'communicants,'et'plus'généralement'de'capteurs'vont'être'déployés:'ils'vont' provoquer'un'déluge'de'données'auquel'les'compagnies'énergé5ques'vont'devoir'faire'face.'
17. | 17 SMART METERING: UN DELUGE DE DONNEES •  En'France':'35+'millions'de' compteurs'intelligents'!'des' milliards'd’enregistrements' •  Actuellement,'un'projet'pilote'a' déployé'300K'compteurs'
18. | 18 DONNÉES MASSIVES DANS LE DOMAINE DE L’ ÉNERGIE # Enjeux,'challenges:' #  Plus%de%complexité%dans%le%système%électrique%(produc7on%décentralisée,%ges7on%de%la% demande%….)% #  %Mul7plica7on%des%acteurs% #  Push%technologique%(compteurs%communicants,%internet%des%objets%….)% #  Nécessité%d’une%bonne%traçabilité%des%ac7ons% ! %Le'management'des'données'et'les'nouvelles'technologies'vont'être'au'cœur'des' mé5ers'd’EDF' ' EDF R&D SIGMA²!
19. | 19 DONNÉES MASSIVES DANS LE DOMAINE DE L’ ÉNERGIE # Qu’y'a0t0il'de'nouveau'?' #  Nouvelles%sources%de%données%(données%de%comptage,%données%de%consomma7on% détaillées,%services,%données%web,%open%data,%…)% #  %‘Digital%u7lity’%:%%les%systèmes%physiques%s’accompagnent%de%systèmes%numériques% (transport,%distribu7on,%produc7on),%nouveaux%acteurs,%process%de%décisions%plus% rapides% # Difficultés'et'opportunités' #  (facile)%La%technologie%est%là% #  (difficile)%Savoir%quoi%faire%de%la%donnée?%%% %Intégra7on%des%données%;%Sécurité%et%% %privacy;%Culture%de%la%donnée;%Compétences;% %comment%encourager%l’innova7on%?% #  Opportunités:%voir%“U"lity'AMI'analy"cs'' ''''for'the'smart'grid”% •  % % % % '
20. | 20 DONNÉES MASSIVES DANS LE DOMAINE DE L’ ÉNERGIE # Un'volume'très'important'de'données' à'gérer'(smart'meters,'capteurs,'…),' mais%les%volumes%ne%sont%pourtant%pas% si%gros%% # Des'traitements'complexes':'' # Séries'temporelles' # Données'distribuées,'analyses' mul50échelles,''niveaux'local'et' global'(analy5cs,'op5misa5on)' # Temps'réel' % %% % ' AMI / smart metering Integrated communication Decision support Aujourd’hui Demain
21. | 21 PROJET DE RECHERCHE À EDF R&D : SIGMA² Objec5fs':'' # %Maîtriser%les%techniques%associées%au%Big%Data,%assurer%veille/an7cipa7on,%développer% des%méthodes%innovantes% # %Poursuivre%et%renforcer%la%diffusion%et%l’intégra7on%de%ces%approches%au%sein%de% l’entreprise%% • %Ces'objec"fs'passent'par'la'réalisa"on'de'prototypes,'d’études'de'faisabilité,'d’expérimenta"ons'en'réponse'à' des'probléma"ques'mé"ers' EDF R&D SIGMA²!
22. | 22 POC STORM : ENJEUX POUR EDF R&D Le « Proof Of Concept » (POC) Storm s’inscrit pleinement dans les objectifs de SIGMA² , notamment la maîtrise des technologies Big Data en lien avec le contexte EDF présent ou à venir Les solutions Stream Processing / CEP déjà maitrisées : StreamBase (TIBCO) et InfoSphere Streams (IBM) Objectifs du POC : # Mieux connaître Storm et le positionner par rapport aux outils déjà maitrisés # Juger de la capacité de Storm à répondre à un scénario riche de « traitements EDF » à la volée sur des données en provenance de compteurs communicants : couverture fonctionnelle ? Capacité à absorber le flux ? EDF R&D SIGMA²!
23. | 23 POC STORM : SCHEMA FONCTIONNEL GLOBAL EDF R&D - SIGMA - FROST! Smart Metering# Data Stream! Entrées( Données clients# (par exemple tarif) ! Tarifs # statiques / dynamiques# ! Prévisions Météo! Data in motion" Data at rest" http://storm-project.net/" •  Agrégats simples : ex. synchrone globale • Agrégats ventilés : ex. synchrones par groupe tarifaire • Analytics : ex. scoring par compteur • Prévisions : ex. Prévisions J+1 en Wh et en CA Sorties(
24. | 24 Focus sur 3 points clefs EDF R&D - SIGMA - FROST! Smart Metering# Data Stream! Entrées( Données clients# (par exemple tarif) ! Tarifs # statiques / dynamiques! Prévisions Météo! Data in motion" Data at rest" •  Agrégats simples : ex. synchrone globale • Agrégats ventilés : ex. synchrones par groupe tarifaire • Analytics : ex. scoring par compteur • Prévisions : ex. Prévisions J+1 en Wh et en CA Sorties( DATA" ANALYTICS" FORECASTING" 1 2 3 0" 5" 10" 1" 217" 433" 649" 865" 1081" 1297" 1513" 1729" 1945" 2161" 2377" 2593" 2809" 3025" 3241" 3457" 3673" 3889" 4105"
25. | 25 1- DATA : SIMULER MASSIVEMENT ET FIDELEMENT LES COURBES DE CONSOMMATION ELECTIQUE #  Utilisation d’un générateur / simulateur de courbes de charges électrique, développé par EDF R&D EDF R&D - SIGMA - FROST! Consommations individuelles réelles Apprentissage! Modèle génératif Simulation! Consommations individuelles simulées Utilisations possibles :" ! •  Tester des outils informatiques et des méthodes statistiques! •  Echanger des données simulées! CARACTERISTIQUE DU GENERATEUR : • Conserver la diversité des comportements individuels • Reproduire des courbes ayant une volatilité comparable aux courbes réelles • Conserver le comportement global de l’agrégation des courbes individuelles •  sans paramètres utilisateurs • Simuler rapidement de gros volumes de données
26. | 26 1 - DATA : EXEMPLES DE COURBES INDIVIDUELLES GENEREES #  Performance du processus de génération : #  Code JAVA #  CPU 2 GHz (Xenon E5405) #  360.000 tuples / seconde / CPU #  1 CPU = 18 x plus rapide que le temps réel (35 M de compteurs, au pas demi-horaire)
27. | 27 2 – ANALYTICS : TRAVAILLER SUR DES SERIES TEMPORELLES SIMPLIFIEES Les%Séries%temporellessont%des%données%de%forte' dimen5onnalité,'difficile'à'exploiter'dans'un'contexte' Big'Data'' Notre%approche%ici%:%% SIMPLIFIER'l’objet'«'Courbe'de'Charge'»'pour%faciliter% sa%manipula7on%et%son%analyse,%surtout%quand%on% travaille%avec%plusieurs%millions%de%séries%temporelles% SAX%:%Passer%d’une%série%de%mesures%à%un%mot'plus' compact' Ensuite,%nous%u7lisons%ce\e%forme%plus%simple%pour% «'scorer'»'chaque'courbe'selon'que'la'forme'de'la' courbe'est'plus'ou'moins'commun'dans%l’ensemble%de% la%popula7on% % Principe de la transformée SAX EDF R&D - SIGMA - FROST!
28. | 28 3 – FORECASTING : LES MODELES GAM EDF R&D - SIGMA - FROST! GAM = Generalized Additive Model Modèles étudiés depuis 2006 à EDF R&D (Dépt. OSIRIS) et à EDF depuis quelques années Utilisés sur de nombreux signaux : consommation Electrique au niveau agrégé et niveau local, consommation de Gaz, … Structure très générique: $  Fonction de transferts linéaires ou non-linéaires $  Effets mono ou multi-varies Littérature scientifique sur le sujet: Hastie and Tibshirani (1986), Hastie and Tibshirani (1990), plus récemment Wood (2006)
29. | 29 3 – FORECASTING : EXEMPLE DE MODÈLE GAM •  Le Département OSIRIS utilise R pour la modélisation GAM EDF R&D - SIGMA - FROST!
30. 30! © OCTO 2013 Questions / Réponses
31. 31! © OCTO 2013 © OCTO 2013 Retour d’expérience sur une expérimentation d’analyse d’indicateurs en temps réel avec Storm chez EDF R&D
32. 32! © OCTO 2013 " Contexte " Présentation de Storm " Déroulement du projet "   Méthodologie de travail "   Choix de l’architecture "   Déploiement de Storm "   Fonctionnalités implémentées "   Spécificités et limites d’une implémentation Storm "   Tests de performances " Bilan Sommaire
33. 33! © OCTO 2013 Contexte
34. 34! © OCTO 2013 " Durée : 3 mois, entre Juillet et Septembre 2013 " Client : Le projet SIGMA² de EDF R&D " Sujet : "   Etude du positionnement des solutions CEP dans un contexte Hadoop "   Performance et la scalabilité de Twitter Storm " Equipe : 3 OCTOs " Traitements à réaliser : "   Agrégats en temps réel par dimension géographique, tarifaire sur la base des attributs attachés aux courbes de charges " Scoring en temps réel, basé sur des règles en partie définies à l’avance et en partie évolutives "   Prévisions de charge basées sur des fonctions R développées par EDF R&D " Développement d’une interface de restitution Contexte
35. 35! © OCTO 2013 " Des moyens humains en support "   2 experts système & réseaux "   2 experts métiers pour le scoring et le modèle de prédiction R "   L’auteur du générateur de relevés de consommation " Du logiciel fourni "   Un générateur réaliste de relevés de consommation "   Des modèles de prédictions fixes et adaptatifs ainsi que des codes source en R les exploitant "   Des CSV contenant des données de références "   Jointures groupe tarifaire / compteur "   Données météo "   Des codes sources d’exemple "   D’utilisation du générateur de relevés de consommation "   D’implémentation de SAX Contexte Les moyens logiciels et humains fournis par EDF R&D
36. 36! © OCTO 2013 " 8 serveurs « commodity » "   2 noeuds maître "   CPU : AMD Opteron Processor 6128 "   Mémoire : 64Go "   Réseau : 1Gb/s "   6 noeuds de traitement "   CPU : AMD Opteron Processor 6128 "   Mémoire : 32Go "   Réseau : 1Gb/s " Autres caractéristiques " co-localisation sur le même rack "   Livrés installés avec une distribution CentOS 64bits "   Accès réseau limité en dehors du centre R&D "   Accès total de l’équipe sur le cluster Contexte Caractéristiques du cluster
37. 37! © OCTO 2013 Présentation de Storm
38. 38! © OCTO 2013 Présentation de Storm " Storm est une solution de traitement de données orientée flux " Caractérisques principales de Storm " Garantie de traitement des données " Scalabilité horizontale " Tolérance aux pannes et transactionnalité " Pas d’intermédiaire " Abstraction plus haut niveau que le message passing " Robustesse Traitement de Flux RPC Distribués Calcul en continu
39. 39! © OCTO 2013 Présentation de Storm Concepts de Storm
40. 40! © OCTO 2013 " Abstraction transactionnelle sur les bolts et les spouts "   Traitement par mini-batchs de N tuples "   Garantie de traitement ordonné des mini batchs "   Facilite les calculs d’agrégation Présentation de Storm Trident
41. 41! © OCTO 2013 Déroulement du projet
42. 42! © OCTO 2013 Méthodologie de travail Une méthodologie itérative " Pourquoi ? "   Peu de temps pour tout réaliser "   3 sujets dans le projet " Comment ? "   Equipe Co-localisée "   Backlog priorisé "   Réunion d’avancement et démo hebdomadaire Notre storyboard Notre lieu de débats
43. 43! © OCTO 2013 Méthodologie de travail Un projet varié " Backlog : 60% des tâches réalisées "   55 identifiées, 33 priorisées et réalisées
44. 44! © OCTO 2013 Choix de l’architecture DataFlow fonctionnel DONNÉES ACQUISITION ET TRAITEMENT REQUETAGE •  Relevés de compteurs EDF (générateur) •  48 points de mesures en KWh par jour et par compteur •  6 millions de compteurs •  Les compteurs sont segmentés par groupe tarifaire Calcul de métriques en continu, par jour et par groupe tarifaire : •  Moyenne de consommation •  CA •  Prévision pour les métriques précédentes à J+1 •  Scoring typicité des courbes compressées par SAX •  Vues pré calculées par agrégat disponibles au requêtage •  Agrégation des vues en agrégats plus grands •  Affichage en tableaux de bords (courbes, histogrammes)
45. 45! © OCTO 2013 Choix de l’architecture Architecture technique Générateur 42,63…2,0…24…1,0484,… Interface de Suivi de restitution Utilisateurs Les données générées sont •  regroupées par compteur et par jour (tuple) •  ajoutées sur une liste Redis Topologie de calcul Storm A intervalle régulier, les Spouts lisent entre 500 et 10000 tuples chacun de la liste Redis Calculs d’agrégats TridentState Calcul de scores TridentState Spout Calcul de Prévisions TridentState Envoi du stream aux différents TridentStates Récupère des mini batchs Questionne la topologie à la demande (DRPC) Tables de référence Stockée sur chaque serveur en CSV
46. 46! © OCTO 2013 " Storm "   Nimbus "   DRPC "   UI "   Supervisor(s) " Zookeeper " Support "   Redis " Tomcat "   Outils de dev : nexus, gitolite Déploiement de Storm Composants installés
47. 47! © OCTO 2013 Déploiement de Storm Vue physique du cluster Rack 1Gb/s intra rack Nœuds de traitement •  Storm supervisor Nœud maître •  Storm supervisor •  Redis •  Zookeeper Nœud maître •  Storm •  Nimbus •  UI •  Drpc •  Tomcat Développeurs et Utilisateurs Réseau 10Gb/s
48. 48! © OCTO 2013 " Calcul d’agrégats de consommation journalière "   par groupe tarifaire et national " Calcul des scores du degré de typicité des consommations "   Par compteur et par jour " Calcul des prévisions J+1 de consommation "   par groupe tarifaire et national "   Sur chaque agrégat disponible Fonctionnalités implémentées 3 traitements à implémenter
49. 49! © OCTO 2013 Fonctionnalités implémentées Calculs d’agrégats
50. 50! © OCTO 2013 Fonctionnalités implémentées Calculs de scores de normalité des relevés
51. 51! © OCTO 2013 Fonctionnalités implémentées Calculs de prévisions pré-calibrées
52. 52! © OCTO 2013 Fonctionnalités implémentées Calculs de prévisions adaptatives
53. 53! © OCTO 2013 Fonctionnalités implémentées Interface de restitution des moyennes de consommation avec prévision
54. 54! © OCTO 2013 Fonctionnalités implémentées Interface de restitution du nombre de métriques collectées
55. 55! © OCTO 2013 Spécificités d’une implémentation sur Storm Implémentation de calculs sous une forme distribuée " La nature distribuée de Storm rend parfois des algorithmes relativement « simples » difficiles à implémenter : "   Les streams imposent de calculer de manière incrémentale "   Trident, la couche transactionnelle de Storm impose primitives particulières " Spécificités d’utilisation de R avec jRI
56. 56! © OCTO 2013 " L’interface de Storm fourni les métriques de latence mais… " D’autres composants entre en jeu (Zookeeper, Redis, …) Cela rend la mesure de performance globale et fiable (traitements + comportement du cluster) difficile Limites constatées de l’implémentation sur Storm
57. 57! © OCTO 2013 " Une journée / compteur "   48 relevés de consommation par compteur et par jour + identifiant compteur "   300 octets de taille moyenne " Jeux de données pré-générés "   Consommation de 1 million de compteurs sur 2 jours "   Consommation de 6 millions de compteurs sur 2 jours Tests de performances Source de données
58. 58! © OCTO 2013 " 413 850 journées / compteur / seconde "   19 864 800 relevés / seconde "   En terme réseau : 120Mo / seconde (max 125Mo/s) A titre de comparaison, un macbook pro SSD 16Go DDR3 obtient : "   791 565 journées / compteur / seconde soit une augmentation de 47% Tests de performances Performances en lecture de Redis
59. 59! © OCTO 2013 Temps de traitement Nombre de relevés émis Tests de performances Calculs d’agrégats " 4m5s pour traiter 576 millions de relevés "   1,98 million de relevés / seconde "   Les machines n’étaient pas surchargées : charge CPU < 50%
60. 60! © OCTO 2013 " 5m27s pour traiter 180 millions de relevés "   550 458 relevés / seconde Tests de performances Calculs de scores de normalité des relevés Temps de traitement Nombre de relevés émis
61. 61! © OCTO 2013 Tests de performances Calculs de prévisions pré-calibrées " 4m23s pour traiter 576 millions de relevés "   2,19 millions de relevés / seconde "   Les machines du cluster n’étaient pas surchargées : charge CPU < 50% Temps de traitement Nombre de relevés émis
62. 62! © OCTO 2013 Tests de performances Calculs de prévisions adaptatives " 6m41s pour traiter 576 millions de relevés "   1,43 million de relevés / seconde "   Les machines du cluster n’étaient pas surchargées : charge CPU < 50% Temps de traitement Nombre de relevés émis
63. 63! © OCTO 2013 Questions / Réponses
64. 64! © OCTO 2013 Conclusion
65. 65! © OCTO 2013 " Points positifs "   Traitement de gros volumes au fil de l’eau "   Prévisions en quasi temps réel avec R "   Facile à mettre en œuvre, à configurer "   Polyvalent "   Jeune, pourtant bien documenté et stable " Points à creuser "   Mesure de performances "   Reprise sur erreur de traitements "   Intégration dans Hadoop Bilan Sur Storm
66. 66! © OCTO 2013 " Hadoop est adapté en traitements batchs mais mauvais en temps réel " Storm est adapté en temps réel mais n’a pas de couche de stockage de big data Bilan Storm dans une perspective industrielle
67. | 67 BILAN POC STORM PAR EDF R&D Points positifs : %  Solution crédible, qui couvre le spectre fonctionnel du scénario proposé % Coût , renforcé par l’intégration de Storm dans Hadoop (HDP Q1 2014) Points négatifs : % Nécessité de s’investir dans un nouvel outil, avec sa logique et sa syntaxe NB : trident offre cependant un niveau d’abstraction intéressant % Manque d’un studio de développement (cf. Streambase) Ex : visualiser le graphe de traitements •  Suite envisagée : Prototype STORM d’un système d’estimation temps-réel des volumes d’effacements électrique EDF R&D SIGMA²!
68. 68! © OCTO 2013 " L’équipe côté EDF "   Alexis BONDU – Ingénieur chercheur, auteur du générateur "   Bruno JACQUIN – Ingénieur chercheur "   Charles BERNARD – Consultant IT " Leely DAIO PIRES DOS SANTOS – Ingénieur chercheur " Yannig GOUDE – Expert prévision " L’équipe côté OCTO "   Simon MABY – Consultant "   Cyrille MAILLEY - Consultant Remerciements
69. 69! © OCTO 2013 © OCTO 2013 Merci