Harvesting: Wie das Open Data Portal der Stadt Zürich seine Daten "erntet"

Harvesting: Wie das Open Data Portal der Stadt Zürich seine Daten "erntet"

28183e09aff101bc1f80c7e7a1917d83?s=128

Stefan Oderbolz

April 30, 2019
Tweet

Transcript

  1. «Harvesting: Wie das Open Data Portal der Stadt Zürich seine

    Daten "erntet"»
  2. Fachvortrag HSR 30. April 2019, Seite 2 Stadt Zürich Statistik

    WAS IST OPEN GOVERNMENT DATA?
  3. Fachvortrag HSR 30. April 2019, Seite 3 Stadt Zürich Statistik

    Was ist Open Government Data (OGD)? – OGD sind Daten aus der Verwaltung, die von ALLEN – frei benutzt – weiterverwendet & – geteilt werden können.» – OGD umfasst – Keine Gebühren: kostenfreie Nutzung – Keine Logins: einfacher Zugang – Offene Datenformate: keine kostspielige Software notwendig – Offene Lizenzen: keine Nutzungsbeschränkungen
  4. Fachvortrag HSR 30. April 2019, Seite 4 Stadt Zürich Statistik

    Was ist NICHT OGD? – OGD umfasst KEINE – persönlichen Daten – sicherheitsrelevanten Daten – urheberrechtlich geschützten Daten – Daten, die dem Amtsgeheimnis unterliegen  Gläserner Staat, nicht gläserne Bürger
  5. Fachvortrag HSR 30. April 2019, Seite 5 Stadt Zürich Statistik

    Open Data Team – Koordination von OGD innerhalb der Stadtverwaltung – Beratung / Workshops / Anleitungen – Datenaufbereitung, -publikation und Pflege von Metadaten – Zentrale Anlaufstelle bei Fragen – Betreuung des Open-Data-Portals – Kommunikation (Twitter, Blog, Intranet, Events) – Austausch mit der Open Data Community – Mitarbeit bei der nationalen OGD-Initiative
  6. Fachvortrag HSR 30. April 2019, Seite 6 Stadt Zürich Statistik

    Mehrwert von Open Data – Mehrfachnutzung und Wiederverwendbarkeit – Wirtschaftlichkeit: kostspielig erhobene Daten, die von der Öffentlichkeit finanziert wurden, können nicht nur von ein paar wenigen, sondern von allen verwendet werden. – Innovation – Mit den Daten können Services und Dienstleitungen von Dritten erstellt werden  gesellschaftlicher & wirtschaftlicher Mehrwert – Effizientere und effektivere Dienstleistungen – Kosteneinsparungen durch Selbstbedienungsangebot, innerstädtischer Datenaustausch – Transparenz – Nachvollziehbarkeit und Image
  7. Fachvortrag HSR 30. April 2019, Seite 7 Stadt Zürich Statistik

    OGD-Katalog – 361 Datensätze – Einfache Suche, Previews – Detaillierte Metadaten – Keine proprietären Formate, internationale Standards – Maschinenlesbarkeit – Klare Lizenzangaben https://data.stadt-zuerich.ch/dataset
  8. Fachvortrag HSR 30. April 2019, Seite 8 Stadt Zürich Statistik

    OGD-Katalog: Harvesting von Datenportalen
  9. Fachvortrag HSR 30. April 2019, Seite 9 Stadt Zürich Statistik

    Föderales System von Datenportalen STADT ZÜRICH OPEN TRANSPORT DATA EUROPEAN DATA PORTAL SWISSCOM OPENDATA.SWISS SCHWEIZER POST
  10. Fachvortrag HSR 30. April 2019, Seite 10 Stadt Zürich Statistik

    DCAT-AP Switzerland – Offizieller Schweizer Standard für Katalog-Metadaten – eCH-0200 (https://www.ech.ch/de/standards/39919) – Basiert auf DCAT-AP EU (Europäischer Standard) – DCAT ist ein RDF Vocabulary (definiert von W3C) – data.stadt-zuerich.ch liefert seine Daten als DCAT-AP Switzerland RDF an opendata.swiss
  11. Fachvortrag HSR 30. April 2019, Seite 11 Stadt Zürich Statistik

    CKAN
  12. Fachvortrag HSR 30. April 2019, Seite 12 Stadt Zürich Statistik

    Was ist CKAN? Python-basiertes Framework um Datenportale zu bauen – Extensions erlauben das System zu erweitern – API-driven, Web Frontend ist optional (headless) – Flexibles Schema für Datensätze und Ressourcen – Open Source, mit aktiver Community
  13. Fachvortrag HSR 30. April 2019, Seite 13 Stadt Zürich Statistik

    Kategorien
  14. Fachvortrag HSR 30. April 2019, Seite 14 Stadt Zürich Statistik

    Suche (Apache Solr)
  15. Fachvortrag HSR 30. April 2019, Seite 15 Stadt Zürich Statistik

    Datensatz
  16. Fachvortrag HSR 30. April 2019, Seite 16 Stadt Zürich Statistik

    CKAN API
  17. Fachvortrag HSR 30. April 2019, Seite 17 Stadt Zürich Statistik

    Ressource und Preview
  18. Fachvortrag HSR 30. April 2019, Seite 18 Stadt Zürich Statistik

    CKAN Extensions – CKAN kann durch Extensions erweitert werden – Das Framework bietet diverse Interfaces um sich ins System einzuhängen – Für diverse Use Cases gibt es bereits Standard-Extensions – ckanext-harvest (Harvesting) – ckanext-dcat (DCAT/RDF Bereitstellung) – ckanext-pages (einfaches CMS) – ckanext-comments (Kommentarfunktion) – …
  19. Fachvortrag HSR 30. April 2019, Seite 19 Stadt Zürich Statistik

    HARVESTING & MESSAGE QUEUES
  20. Fachvortrag HSR 30. April 2019, Seite 20 Stadt Zürich Statistik

    Was ist Harvesting? – Unter "Harvesting" (engl. to harvest – ernten) versteht man das automatisierte Zusammentragen von Daten – Ziel ist es, die Daten an einem zentralen Ort zur Verfügung zu stellen – Das Harvesting ist häufig ein zeitaufwändiger Prozess (viel IO) und wird meistens über Nacht durchgeführt
  21. Fachvortrag HSR 30. April 2019, Seite 21 Stadt Zürich Statistik

    Quellen für das Harvesting – Andere Datenportale – Anderes CKAN Portal – Geometadatensystem mit CSW Schnittstelle – Portal mit OAI-PMH Schnittstelle – Portal mit RDF Endpunkt (z.B. DCAT-AP Switzerland) – Dateisystem – Fachabteilungen haben Zugriff auf Netzwerk-Verzeichnis – 1 Ordner = 1 Dataset, Metadaten via metadata.xml Datei
  22. Fachvortrag HSR 30. April 2019, Seite 22 Stadt Zürich Statistik

    Architektur eines CKAN Harvesters – Harvest Cronjob – Startet den Harvest-Prozess – Führt gather stage aus – Füllt die fetch queue – 1 Prozess – Fetch Daemon – Konsumiert Daten aus der fetch queue – Führt die fetch stage aus – Füllt die import queue – 1 bis X Prozesse – Import Daemon – Konsumiert Daten aus der import queue – Führt die import stage aus – 1 bis X Prozesse
  23. Fachvortrag HSR 30. April 2019, Seite 23 Stadt Zürich Statistik

    Architektur eines CKAN Harvesters CKAN GATHER FETCH FETCH QUEUE IMPORT SOURCE IMPORT QUEUE get list of items fetch data of item import metadata
  24. Fachvortrag HSR 30. April 2019, Seite 24 Stadt Zürich Statistik

    Message Queue – Eine Message Queue folgt dem klassischen FIFO-Prinzip ("First In – First Out") – Kanal für die asynchrone Kommunikation – Es ist ein Protokoll, d.h. es ist Implementation-agnostisch – Jede Komponente (Sender, Empfänger, MQ) kann in beliebiger Programmiersprache/Betriebssystem etc. implementiert werden – CKAN verwendet den AMQP-Standard (Advanced Message Queuing Protocol) für das Harvesting
  25. Fachvortrag HSR 30. April 2019, Seite 25 Stadt Zürich Statistik

    RabbitMQ als Message Queue – Implementiert AMQP vollständig – Open Source, in Erlang geschrieben – Empfohlen für grosse Umgebung mit vielen Messages – Clustering – Garantierte Zustellung von Messages – Routing von Messages – Erlaubt die Überwachung der Queues
  26. Fachvortrag HSR 30. April 2019, Seite 26 Stadt Zürich Statistik

    Redis als Message Queue – "Poor Man's Message Queue" – Redis ist eine In-Memory-Datenbank (Key/Value Store) – Queue wird über Namenkonvention erstellt – 1 Eintrag für fetch queue – 1 Eintrag für import queue – Bei definiertem Key wird eine Liste angelegt – Konsumieren mit BLPOP ("blocking POP") auf der Liste while True: key, body = self.redis.blpop(self.routing_key)
  27. Fachvortrag HSR 30. April 2019, Seite 27 Stadt Zürich Statistik

    opendata@zuerich.ch www.stadt-zuerich.ch/opendata @opendatazuerich
  28. Fachvortrag HSR 30. April 2019, Seite 28 Stadt Zürich Statistik

    BACKUP FOLIEN
  29. Fachvortrag HSR 30. April 2019, Seite 29 Stadt Zürich Statistik

    Datenangebot - Hauptgruppen 1. Sachdaten (tabellarische Daten, csv, 202) 2. Geodaten (räumliche Daten, gpkg / json / kml / wfs / wmts, 146) 3. APIs / WebServices (Echtzeitdaten) 4. Linked Open Data (Link, rdf) 5. Bilder (Archiv- und Metadaten)
  30. Fachvortrag HSR 30. April 2019, Seite 30 Stadt Zürich Statistik

    Schutzbedarf eines Datensatzes – Amtsgeheimnis – Datenschutz, falls sich dieser nicht durch technische Methoden (zum Beispiel Aggregierung) gewährleisten lässt – Übergangsdaten, Daten zu laufenden Geschäften, Notizen – Übergeordnetes öffentliches Interesse, zum Beispiel Staatsschutz – Informationsschutz, zum Beispiel als «intern» klassifizierte Daten – Urheberrecht – Übergeordnetes Recht, zum Beispiel die Geoinformationsgesetzgebung – Konkurrenzsituation, falls eine Dienstabteilung marktwirtschaftlich operiert und das Veröffentlichen von Daten Wettbewerbern entscheidende Vorteile verschaffen würde
  31. Fachvortrag HSR 30. April 2019, Seite 31 Stadt Zürich Statistik

    DCAT-AP Schema