Vi vet hvor det blir kø - Store mengder trafikkdata med Akka, Elasticsearch og OPC-UA

Video of presentation from JavaZone 2014: https://vimeo.com/105771495 (Norsk tale).

Vegvesenet er i ferd med å bygge et nytt system for innsamling av trafikkdata i sanntid basert på Akka, Elasticsearch og OPC-UA. Her får du en gjennomgang av prosjektet, arkitekturen, erfaringer som er gjort i forhold til de valgte komponentene, clustering, skalerbarhet og ytelse og noen løsninger på utfordringer vi har møtt underveis.

Transcript

1. VI VET HVOR DET BLIR KØ Store mengder trafikkdata med Akka og Elasticsearch (og en tysker ved navn OPC-UA) JavaZone 2014 Jan Fredrik Wedén
2. 15 års fartstid som utvikler og konsulent Ansatt i BEKK Consulting Digger JVMen og Java Fan av åpenhet Liker bratt friluftsliv Glad i aktiviteter med litt fart og spenning Everything is on the one! JAN FREDRIK WEDÉN
6. DAGENS SITUASJON Aggregerte verdier pr time Ringer opp (modem)
7. Ca 5000 trafikkmålepunkter Ca 1200 av disse er kontinuerlig operative Maks døgntrafikk opp mot 120 000 kjøretøy Normalen på de mer trafikkerte målepunktene ligger mellom 40 000 og 100 000 kjøretøy i døgnet DAGENS SITUASJON
8. Fremtiden er (her) Sanntidsprosessering
9. Fremtiden er (her) Sanntidsprosessering Fra aggregerte data til enkeltkjøretøy
10. Fremtiden er (her) Sanntidsprosessering Fra aggregerte data til enkeltkjøretøy (ikke identifiserbare, selvfølgelig)
11. Bedre
12. Trafikksikkerhet Trafikkstyring Trafikkflyt Bedre
13. 4 000 sanntidsstasjoner i 2018 6 000 – 10 000 hendelser/sekund Ca 200 sanntidsstasjoner i 2014 500 – 1 000 hendelser/sekund i 2015 DATAINN - MÅLSETNINGER
14. DATAINN - MÅLSETNINGER
15. DATAINN - MÅLSETNINGER Prosessering Sanntid
16. Sensorer i vegbanen DATAINN – FORUTSETNINGER
17. Sensorer i vegbanen Nytt vegkantutstyr DATAINN – FORUTSETNINGER
18. Sensorer i vegbanen Nytt vegkantutstyr Ruter/Nettverk DATAINN – FORUTSETNINGER
19. Vegkantutstyr snakker OPC-UA DATAINN - FORUTSETNINGER
20. Vegkantutstyr snakker OPC-UA Trafikkhendelser skal kunne prosesseres i sanntid DATAINN - FORUTSETNINGER
21. Vegkantutstyr snakker OPC-UA Trafikkhendelser skal kunne prosesseres i sanntid Vegkantutstyret lagrer inntil tre måneder med data lokalt DATAINN - FORUTSETNINGER
22. Vegkantutstyr snakker OPC-UA Trafikkhendelser skal kunne prosesseres i sanntid Vegkantutstyret lagrer inntil tre måneder med data lokalt Systemet skal hente historiske data fra vegkantutstyret ved datatap, f.eks nettverksbrudd DATAINN - FORUTSETNINGER
23. Vegkantutstyr snakker OPC-UA Trafikkhendelser skal kunne prosesseres i sanntid Vegkantutstyret lagrer inntil tre måneder med data lokalt Systemet skal hente historiske data fra vegkantutstyret ved datatap, f.eks nettverksbrudd Systemet skal fortsatt kunne levere aggregerte trafikkdata og statistikk DATAINN - FORUTSETNINGER
24. Vegkantutstyr snakker OPC-UA Trafikkhendelser skal kunne prosesseres i sanntid Vegkantutstyret lagrer inntil tre måneder med data lokalt Systemet skal hente historiske data fra vegkantutstyret ved datatap, f.eks nettverksbrudd Systemet skal fortsatt kunne levere aggregerte trafikkdata og statistikk Vegkantutstyret må klargjøres og startes før trafikkhendelser kan mottas DATAINN - FORUTSETNINGER
25. DATAINN OPC-UA Mottak
 Analyse
 Ryddegutt" Lagring" Alarmer" Innsyn/ Admin" Statistikk/
 Eksport" Oppstart målestasjon"
29. Proof of Concept ble kjørt i forkant av prosjektet Trafikkdata ble sendt inn via HTTP og ikke OPC-UA DATAINN – PROOF OF CONCEPT
30. Proof of Concept ble kjørt i forkant av prosjektet Trafikkdata ble sendt inn via HTTP og ikke OPC-UA Valgte å prøve Elasticsearch og Akka DATAINN – PROOF OF CONCEPT
31. Proof of Concept ble kjørt i forkant av prosjektet Trafikkdata ble sendt inn via HTTP og ikke OPC-UA Valgte å prøve Elasticsearch og Akka Brukte Gatling til å generere last fra en laptop Laptopen måtte gi tapt ved ca 1500 trafikkhendelser/sekund Mottak av trafikkhendelser på én node hadde ennå ikke nådd taket DATAINN – PROOF OF CONCEPT
32. Proof of Concept viste at teknologien og rammeverkene med stor sannsynlighet ville klare kravene Akka •  så ut til å takle nødvendig last med lite overhead •  lovet også bra i forhold til å håndtere mange samtidige sanntidshendelser Elasticsearch •  støttet kjente aggregeringskrav på daværende tidspunkt “ut av boksen” •  så ut til å takle forventet datamengde på en god måte •  god støtte for partisjonering av data DATAINN - TEKNOLOGIVALG
33. DATAINN - ARKITEKTUR OPC-UA webapp" Akka" OPC-UA SDK" Web/REST" Frontend (web)" REST Eksport Eksport Elastic- search"
34. DATAINN - ARKITEKTUR OPC-UA webapp" Akka" OPC-UA SDK" Web/REST" Frontend (web)" REST Eksport Eksport Elastic- search"
35. DATAINN - ARKITEKTUR OPC-UA Frontend (web)" REST Eksport Eksport Elastic- search" webapp" Akka" OPC-UA SDK" Web/REST" webapp" Akka" OPC-UA SDK" Web/REST" Elastic- search" webapp" Akka" OPC-UA SDK" Web/REST" Elastic- search" Elastic- search" webapp" Akka" OPC-UA SDK" Web/REST"
36. The Good Parts
39. Programmeringsmodellen til Akka passer bra til å håndtere mange samtidige trafikkhendelser DATAINN – THE GOOD PARTS (OF AKKA)
40. Programmeringsmodellen til Akka passer bra til å håndtere mange samtidige trafikkhendelser La-det-feile og supervisor-hierarki er behagelig å jobbe med DATAINN – THE GOOD PARTS (OF AKKA)
41. Programmeringsmodellen til Akka passer bra til å håndtere mange samtidige trafikkhendelser La-det-feile og supervisor-hierarki er behagelig å jobbe med Så sant en trafikkhendelse kommer inn til clusteret i sanntid er den nyttig DATAINN – THE GOOD PARTS (OF AKKA)
42. Programmeringsmodellen til Akka passer bra til å håndtere mange samtidige trafikkhendelser La-det-feile og supervisor-hierarki er behagelig å jobbe med Så sant en trafikkhendelse kommer inn til clusteret i sanntid er den nyttig Lett å legge til funksjonalitet i prosesseringen DATAINN – THE GOOD PARTS (OF AKKA)
43. Ekstremt smidig og enkelt å komme i gang med og bruke DATAINN – THE GOOD PARTS (OF ELASTICSEARCH)
44. Ekstremt smidig og enkelt å komme i gang med og bruke Superlett å teste spørringer direkte mot REST-grensesnittet DATAINN – THE GOOD PARTS (OF ELASTICSEARCH)
45. Ekstremt smidig og enkelt å komme i gang med og bruke Superlett å teste spørringer direkte mot REST-grensesnittet “Lett” å deploye DATAINN – THE GOOD PARTS (OF ELASTICSEARCH)
46. Ekstremt smidig og enkelt å komme i gang med og bruke Superlett å teste spørringer direkte mot REST-grensesnittet “Lett” å deploye Veldig kraftig analyseverktøy DATAINN – THE GOOD PARTS (OF ELASTICSEARCH)
47. Ekstremt smidig og enkelt å komme i gang med og bruke Superlett å teste spørringer direkte mot REST-grensesnittet “Lett” å deploye Veldig kraftig analyseverktøy Takler datamengden godt DATAINN – THE GOOD PARTS (OF ELASTICSEARCH)
48. Vi har vært så heldige å få deploye en lettvekts webapplikasjon DATAINN – THE GOOD PARTS (OF DEPLOYMENT)
49. Vi har vært så heldige å få deploye en lettvekts webapplikasjon Smidig for utviklere, relativt smidig mot drift DATAINN – THE GOOD PARTS (OF DEPLOYMENT)
50. Vi har vært så heldige å få deploye en lettvekts webapplikasjon Smidig for utviklere, relativt smidig mot drift Automatisert bygging og utrulling DATAINN – THE GOOD PARTS (OF DEPLOYMENT)
51. Vi har vært så heldige å få deploye en lettvekts webapplikasjon Smidig for utviklere, relativt smidig mot drift Automatisert bygging og utrulling Eksponerer våre pakker til drift via Nexus DATAINN – THE GOOD PARTS (OF DEPLOYMENT)
52. The Bad Parts
53. Vanskelig å “følge flyten” DATAINN – THE BAD PARTS (OF AKKA)
54. Vanskelig å “følge flyten” Akka cluster •  Distribuerte systemer er vanskelig •  ikke fullt ut modent nok •  vi måtte håndtere/detektere “split brain” selv •  må bruke og forholde oss til cluster singletons som kan være skumle greier •  “Heartbeat” kan risikere å ikke komme frem DATAINN – THE BAD PARTS (OF AKKA)
55. OPC-UA SDK •  er laget for 1-1 mellom klient og server •  bruker tråder, mange tråder DATAINN – THE BAD PARTS (OF OPC-UA)
56. OPC-UA SDK •  er laget for 1-1 mellom klient og server •  bruker tråder, mange tråder Actor for en målestasjon kan ikke tillates å starte opp mer enn én gang Spiller mindre bra sammen med tilstandsløst cluster DATAINN – THE BAD PARTS (OF OPC-UA)
57. Elasticsearch er minneintensiv og skriveoperasjoner er krevende Prøv alt du kan å få egne servere til Elasticsearch DATAINN – THE BAD PARTS (OF ELASTICSEARCH)
58. Elasticsearch er minneintensiv og skriveoperasjoner er krevende Prøv alt du kan å få egne servere til Elasticsearch Batch skriveoperasjoner, ikke skriv én og én melding DATAINN – THE BAD PARTS (OF ELASTICSEARCH)
59. Elasticsearch er minneintensiv og skriveoperasjoner er krevende Prøv alt du kan å få egne servere til Elasticsearch Batch skriveoperasjoner, ikke skriv én og én melding Ikke gjør skriveoperasjoner med updatescript DATAINN – THE BAD PARTS (OF ELASTICSEARCH)
60. OPC-UA og SDKen vi brukte er ressurskrevende materiale Både klient og server opererer med veldig mange tråder DATAINN – THE BAD PARTS (OF PERFORMANCE)
61. OPC-UA og SDKen vi brukte er ressurskrevende materiale Både klient og server opererer med veldig mange tråder Ryddegutten kan generere ekstrem last på server og målestasjon DATAINN – THE BAD PARTS (OF PERFORMANCE)
62. OPC-UA og SDKen vi brukte er ressurskrevende materiale Både klient og server opererer med veldig mange tråder Ryddegutten kan generere ekstrem last på server og målestasjon Elasticsearch var flaskehalsen DATAINN – THE BAD PARTS (OF PERFORMANCE)
63. OPC-UA og SDKen vi brukte er ressurskrevende materiale Både klient og server opererer med veldig mange tråder Ryddegutten kan generere ekstrem last på server og målestasjon Elasticsearch var flaskehalsen Klarte bare først ca 40, så 90 målestasjoner totalt på tilgjengelig cluster Infrastrukturen hvor lasttestene kjøres er underspesifisert i forhold til produksjon DATAINN – THE BAD PARTS (OF PERFORMANCE)
64. OPC-UA og SDKen vi brukte er ressurskrevende materiale Både klient og server opererer med veldig mange tråder Ryddegutten kan generere ekstrem last på server og målestasjon Elasticsearch var flaskehalsen Klarte bare først ca 40, så 90 målestasjoner totalt på tilgjengelig cluster Infrastrukturen hvor lasttestene kjøres er underspesifisert i forhold til produksjon Last kan ikke genereres/simuleres med e.g. Gatling eller lignende verktøy DATAINN – THE BAD PARTS (OF PERFORMANCE)
65. DATAINN – TOPOLOGI 3G/Tregt nett Datainnsamlings- nett Servernett
66. The Good Parts Revisited
67. Morsomt og veldig utfordrende å jobbe med prosjektet OPC-UA ser ut til å fungere bra når man først har etablert kommunikasjon mot en type leverandørboks Kjøretøy som passerer måleboksene dukker opp live i webgrensesnittet Samle metrikker om det du kan og gjør dem tilgjengelige for utviklere! Ytelsen er på vei opp J DATAINN – THE GOOD PARTS (REVISITED)
70. UT OG KJØR! jfweden janwe Twitter, Speakerdeck, Flickr, Instagram, Spotify osv http://www.tu.no/it/2014/06/19/vegvesenet-skal-hoste-10.000-datameldinger-om-trafikken-hvert-sekund-hele-aret