Thesis

Thesis presentation for Master in Science degree

Transcript

1. Masterproef door Hannes Van De Vreken 09/09/2013 Intelligentie op basis van een nieuwe gebruiker- georiënteerde website voor iRail
2. Hannes Van De Vreken 09/09/2013 Probleem ➔ API voor treingegevens ➔ Afhankelijk van NMBS ◆ Geen API ◆ Geen data ouder dan 7 dagen ➔ Geen gepersonaliseerde gegevens ◆ RailMate voor iOS (enkel gegevensopslag op toestel) ◆ BeTrains (enkel gegevensopslag op toestel)
3. Hannes Van De Vreken 09/09/2013 Doelstelling ➔ Creatie van API voor gebruikerscontext ◆ Interactiever voor gebruikers ➔ Treingegevens ◆ Verzamelen ◆ Bijhouden ◆ Openstellen ➔ Treinvertragingen voorspellen en meedelen adhv: ◆ Vertragingen uit verleden ◆ Verzamelde gebruikergegevens
4. ➔ Integratie gebruikers ➔ Behandeling data ➔ Voorspellen vertragingen Hannes Van De Vreken 09/09/2013
5. ➔ Integratie gebruikers ➔ Behandeling data ➔ Voorspellen vertragingen Hannes Van De Vreken 09/09/2013
6. Hannes Van De Vreken 09/09/2013 Data harvesting MongoDB TDT API Kunstmatige Intelligentie RailTime website Sociale Netwerk-sites Gebruikers-API Applicaties Overzicht
7. Hannes Van De Vreken 09/09/2013 ➔ Authenticatie ◆ Via sociale netwerk-accounts • Facebook • Twitter • Google • Instagram • Foursquare Integratie gebruikers
8. Hannes Van De Vreken 09/09/2013 ➔ Authenticatie ◆ Via sociale netwerk-accounts ◆ Niet via e-mailadressen en wachtwoorden Integratie gebruikers
9. Hannes Van De Vreken 09/09/2013 ➔ Authenticatie ◆ Via sociale netwerk-accounts ◆ Niet via e-mailadressen en wachtwoorden • Gebruik van Open Authentication (OAuth) workflow • Aanvragen van token per gebruiker • Verschillen in implementaties wegwerken • Eigen OAuth 2.0-service voor iRail Integratie gebruikers
10. Hannes Van De Vreken 09/09/2013 ➔ Authenticatie ◆ Via sociale netwerk-accounts ◆ Niet via e-mailadressen en wachtwoorden ➔ PlugID ◆ Oorpronkelijk: The DataTank (TDT) aanpassen ◆ Geschreven met PHP en CodeIgniter (CI) ◆ Interne identificatie • OAuth1.0-, OAuth2.0-client, OAuth2.0-server Integratie gebruikers
11. Integratie gebruikers: authenticatie Facebook Foursquare Twitter PlugID Application (PlugID) oauth_token (service) oauth_token response response Hannes Van De Vreken 09/09/2013
12. Hannes Van De Vreken 09/09/2013 ➔ Authenticatie ➔ PlugID ◆ ... ◆ REST-API • CRUD (Create-Read-Update-Delete) • OAuth 2.0 • Berichten • Check-ins op trein • Locatie van gebruikers Integratie gebruikers
13. Integratie gebruikers Facebook Foursquare Twitter PlugID Application get_user get_location response response Hannes Van De Vreken 09/09/2013
14. Hannes Van De Vreken 09/09/2013 GET /plugid/user Integratie gebruikers
15. Hannes Van De Vreken 09/09/2013 Integratie gebruikers GET /plugid/checkins
16. Hannes Van De Vreken 09/09/2013 Integratie gebruikers DELETE /plugid/checkins/52165bd6cc85a
17. ➔ Integratie gebruikers ➔ Behandeling data ➔ Voorspellen vertragingen Hannes Van De Vreken 09/09/2013
18. Hannes Van De Vreken 09/09/2013 Data harvesting MongoDB TDT API Kunstmatige Intelligentie RailTime website Sociale Netwerk-sites Gebruikers-API Applicaties Overzicht
19. Behandeling data ➔ Gedistribueerde databank (NoSQL) ➔ Cassandra ◆ Opvragen via gesorteerde kolom-sleutels • Alle treinen per station • Alle stations per trein ◆ Vereist extra index-tabel onderhouden Hannes Van De Vreken 09/09/2013
20. Behandeling data ➔ Oplossing: MongoDB ◆ ensureIndex-functie ◆ Op basis van JSON (subdoc’s & arrays) ◆ Opvragen per trein / halte mogelijk • Groeperen van alle treinen met halte in een bepaald station, gesorteerd volgens aankomsttijd ◆ Vuistregel: gegevens opslaan zoals je ze wil opvragen Hannes Van De Vreken 09/09/2013
21. Behandeling data Hannes Van De Vreken 09/09/2013
22. Hannes Van De Vreken 09/09/2013 Behandeling data ➔ Verzamelen van data: Elke dag: Hele treinschema scrapen Elke 5 minuten: Huidige vertragingen scrapen ➔ Sheduled tasks (bvb: Cron)
23. Hannes Van De Vreken 09/09/2013 Behandeling data Cron-job PHP-script (Laravel Framework) Scraper Beanstalkd Queue
24. Hannes Van De Vreken 09/09/2013 Behandeling data ➔ Beanstalkd Message Queue ➔ Redis cache ◆ Stationsnaam → ID ➔ Redis set ◆ Trein reeds gescrapet?
25. Hannes Van De Vreken 09/09/2013 Behandeling data Scraper station ophalen treinen toevoegen aan set data opslaan beanstalkd [nieuw in set] job toevoegen
26. Hannes Van De Vreken 09/09/2013 Behandeling data ➔ Beanstalkd Message Queue ➔ Redis cache ◆ Stationsnaam → ID ➔ Redis set ◆ Trein reeds gescrapet? ➔ Redis hash ◆ Elke 5 min: hoeveel treinen onderweg?
27. Hannes Van De Vreken 09/09/2013 Behandeling data
28. ➔ The DataTank (TDT) ◆ Laat toe om gegevens weer te geven in • CSV, XML, JSON • Kaartvorm ◆ Implementatie van URL • bvb: /nmbs/liveboard/221.json ? date=20130905&after=09:00&limit=2 • resultaat Behandeling data Hannes Van De Vreken 09/09/2013
29. Behandeling data Hannes Van De Vreken 09/09/2013
30. Behandeling data Hannes Van De Vreken 09/09/2013
31. ➔ Integratie gebruikers ➔ Behandeling data ➔ Voorspellen vertragingen Hannes Van De Vreken 09/09/2013
32. Hannes Van De Vreken 09/09/2013 Data harvesting MongoDB TDT API Kunstmatige Intelligentie RailTime website Sociale Netwerk-sites Gebruikers-API Applicaties Overzicht
33. ➔ Neuraal netwerk ➔ Gecreëerd met GNU Octave ◆ Matlab syntax ◆ Open Source ◆ Command-line script Voorspellen vertragingen Hannes Van De Vreken 09/09/2013
34. ➔ Implementatie neuraal netwerk ◆ Outputwaarden ◆ Threshold ◆ Bitpatroon ◆ F-score = 2 * precision * recall / (precision + recall) Voorspellen vertragingen Hannes Van De Vreken 09/09/2013
35. ➔ Implementatie neuraal netwerk ◆ F-score = 2 * precision * recall / (precision + recall) ➔ Uitgetest op bestaande data-set: 92% ➔ Test op treinen ‘s Gravenbrakel - Leuven ◆ Voorspelt geen vertragingen: 0% ◆ Vertragingen sporadisch Voorspellen vertragingen Hannes Van De Vreken 09/09/2013
36. ➔ Mogelijks wél resultaat met behulp van ◆ Gegevens van gebruikers ◆ Vertragingen van alle treinen samen ◆ Aanvullende gegevens (treintype, # wagons) ◆ Andere Kunstmatige Intelligentie technieken Voorspellen vertragingen Hannes Van De Vreken 09/09/2013
37. ➔ API voor gebruikersinteractie d.m.v. PlugID ➔ Vertragingen opgeslagen in MongoDB-databank ➔ Neuraal netwerk simulatie met Octave om vertragingen te voorspellen Conclusie Hannes Van De Vreken 09/09/2013
38. Hannes Van De Vreken 09/09/2013 Data harvesting MongoDB TDT API Kunstmatige Intelligentie RailTime website Sociale Netwerk-sites Gebruikers-API Applicaties Overzicht
39. ? Hannes Van De Vreken 09/09/2013