Find the Way: from Python to OpenStreetMap

Video: https://video.linux.it/w/rFM4v6fYYVaQFKbFUWsMcZ?start=7m53&stop=2h18m20
Notebook: https://drive.google.com/drive/folders/1N8lLlLkgJNdP6OSPCCOrAUj-cu_--bYY
Codice: https://github.com/EmereArco/pythontorino-geo-map

L'approccio geografico permette di esplorare orizzontalmente un problema, considerando i diversi fattori chiave in base a ciò che hanno in comune: la posizione. Questo approccio fa emergere relazioni e intuizioni che possono fornire una comprensione più profonda di moltissime problematiche

Esploriamo insieme:

- i tipi e i formati dei dati geografici, i sistemi di riferimento, le operazioni spaziali di base e dove trovare dati open
- il progetto OpenStreetMap: perché è importante che i dati siano liberi, il modello dati e come contribuire
- le librerie e i pacchetti Python per manipolare dati geografici e interagire con OpenStreetMap

Inforca il compasso, punta il teodolite: si parte a scrivere insieme il codice necessario per scaricare dati da OpenStreetMap, analizzarli, manipolarli e infine pubblicare la propria mappa!

Emere Arco — Ricercatrice impegnata nel campo dei dati geografici

Transcript

1. Find the Way: from Python to OpenStreetMap Emere Arco 22 novembre 2023
2. Python & dati geografici I dati geografici sono onnipresenti Ogni fenomeno può essere descritto da una posizione nello spazio e nel tempo
3. Python & dati geografici Analizzare la relazione tra le diverse posizioni può aiutarci a fare previsioni e inferenze migliori
4. Python & dati geografici Tobler Law è probabile che le cose vicine siano più correlate di quelle lontane, sia nello spazio che nel tempo
5. Python & dati geografici Crescente sviluppo di pacchetti e librerie Python per la gestione di dati geografici: integrato nella maggior parte dei pacchetti software GIS (ArcGIS, QGIS, PostGIS...) gratuito e open: permette di gestire i dati anche senza software di terze parti altamente efficiente (analisi Big Data) altamente flessibile (gestisce tutti i formati dati) supporta open science
6. Dove sono? 7.685292° lon 45.05413° lat 396478.4945 m E 4989804.3367 m N ///serious.circles.lucky
7. Dove sono? 7.685292° lon 45.05413° lat Horizontal Datum: WGS84 Geographical Coordinates 396478.4945 m E 4989804.3367 m N Horizontal Datum: WGS84 Projection: UTM Zone: 32N ///serious.circles.lucky 2D coordinates ( ) What3words Posso rispondere solo se conosco il sistema di riferimento!
8. I sistemi di riferimento Definire la forma della terra Il geoide è un modello matematico che rappresenta la vera forma della terra. Definisce la superficie equipotenziale del campo gravitazionale. Può essere immaginata anche come la superficie del livello medio del mare.
9. I sistemi di riferimento Il geoide viene approssimato ad una figura geometrica di base: l'ellissoide Un ellissoide viene definito dai seguenti parametri: a: semiasse maggiore (equatoriale) b: semiasse minore (polare) α: schiacciamento [(a-b)/a]
10. I sistemi di riferimento La definizione di un'ellissoide ci permette di identificare ogni punto sulla sua superficie attraverso una coppia di coordinate (angoli) La latitudine ϕ rappresenta l'angolo tra il parallelo di riferimento (equatore) e la normale al punto P. La longitudine λ rappresenta l'angolo tra il meridiano di riferimento (Greenwich) e il meridiano che interseca il punto P.
11. I sistemi di riferimento Dalla superficie tridimensionale alla superficie piana Le proiezioni sono formule matematiche utilizzate per tradurre la latitudine e la longitudine sulla superficie terrestre in coordinate x e y su un piano, utilizzando una superficie sviluppabile (cilindro, cono, piano). Tutte le proiezioni portano a deformare la superficie terrestre.
12. Revoke Cookies Compare Map Projections › Start › Blog › Compare › via Selection Form › via Thumbnails › via List of Projections › Recommended Comparisons › Single View › Articles › Basic Knowledge › Selected Projections › Wagner Variations Generator › Links › About › What’s this all about? › Viewing Options › Naming Canters’ Projections › Naming Wagner IX.i › Winkel Tripel BOPC › License › About me › Legal Disclosure › Privacy Policy › Cookies › Feedback › FAQ → Deutsch
13. I sistemi di riferimento
14. I sistemi di riferimento
15. Tipi di dato Come modellare i dati geografici I campi o dati raster: superfici continue che, in teoria, potrebbero essere misurate in qualsiasi luogo nello spazio e nel tempo. Gli oggetti o dati vettoriali: entità discrete che occupano una posizione specifica nello spazio e nel tempo.
16. Dati vettoriali Possono essere pensati come una tabella in cui una delle colonne registra informazioni geometriche. Ogni riga della tabella rappresenta un singolo oggetto geografico, ogni colonna registra informazioni sull'oggetto (ovvero i suoi attributi o caratteristiche).
17. Dati vettoriali La colonna che definisce la geometria memorizza la forma dell'oggetto attraverso una coppia o un insieme di coordinate in uno specifico sistema di riferimento. La definizione della geometria dipende dal tipo geometrico: PUNTO, LINEA, POLIGONO
18. Dati vettoriali La colonna che definisce la geometria memorizza la forma dell'oggetto attraverso una coppia o un insieme di coordinate in uno specifico sistema di riferimento. La definizione della geometria dipende dal tipo geometrico: PUNTO, LINEA, POLIGONO
19. Dati vettoriali La colonna che definisce la geometria memorizza la forma dell'oggetto attraverso una coppia o un insieme di coordinate in uno specifico sistema di riferimento. La definizione della geometria dipende dal tipo geometrico: PUNTO, LINEA, POLIGONO
20. Dati raster Definiscono una matrice di celle. Le celle, in genere quadrate, sono dette anche pixel. Il valore di ogni cella definisce la misura campionata in quella specifica posizione.
21. Dati raster Risoluzione spaziale Indica la dimensione della cella, ovvero la dimensione lineare del terreno rappresentata da ciascun pixel
22. Dati raster Risoluzione radiometrica Esprime il numero di livelli di grigio all'interno di una scala di grigi, utilizzati per rappresentare un'immagine
23. Dati raster Immagini satellitari Modelli altimetrici e dati meteo Mappe tematiche (uso del suolo)
24. Formati dato vettoriali Strutture generiche - file di testo Includendo dei campi numerici per le coordinate X e Y, è possibile associare dati tabellari a entità puntiformi in un file di testo.
25. Formati dato vettoriali Formati XML - KML/KMZ KML è l'acronimo di Keyhole Markup Language. Viene utilizzato principalmente per Google Earth. KML/KMZ è diventato uno standard internazionale dell'Open Geospatial Consortium nel 2008.
26. Formati dato vettoriali Formati XML - GPX GPX - Il formato GPS Exchange è uno schema XML che descrive waypoint, tracce e rotte acquisite da un ricevitore GPS. I requisiti minimi sono le coordinate di latitudine e longitudine e, a scelta, le proprietà di localizzazione, tra cui l'ora, l'altitudine e l'altezza del geoide come tag.
27. Formati dato vettoriali Formati JSON - GeoJSON GeoJSON memorizza le coordinate come testo in forma di JavaScript Object Notation (JSON). GeoJSON ha una sintassi semplice che può essere modificata in qualsiasi editor di testo. I browser per le mappe web si basano su JavaScript, quindi GeoJSON è un formato web comune.
28. Formati dato vettoriali Strutture specializzate - Shapefile Formato proprietario, sviluppato e regolamentato da Esri, ma aperto. Le sue specifiche tecniche sono pubblicate e possono essere implementate e utilizzate liberamente. Grazie al suo ampio utilizzo, lo shapefile è diventato uno standard de facto per la creazione e l'interscambio di dati geospaziali vettoriali. Si tratta di un formato multifile:
29. Formati dato vettoriali Database spaziali La maggioranza dei DBMS possiede delle estensioni spaziali, che permettono di definire: un tipo di campo geometrico, delle tabelle che definiscono i sistemi di riferimento e un set di funzioni che definiscono le principali operazioni spaziali permesse su un tipo di campo geometrico
30. Predicati spaziali sono una serie di relazioni spaziali (topologiche) tra due o più caratteristiche spaziali. I predicati spaziali
31. Operazioni di overlay
32. Operazioni di aggregazione I dati spaziali sono spesso più granulari del necessario. Ad esempio, potresti avere dati sulle unità subnazionali, ma in realtà sei interessato a studiare i modelli a livello di paesi. ​ ​ ​ ​ ​ ​ ​ La funzione dissolve permette di aggregare le caratteristiche geometriche e i relativi attributi (group by), permettendo di realizzare statistiche riepilogative
33. Fonti di dati Geo portali
34. Fonti di dati
35. Cos'è OpenStreetMap Banca dati di dati geografici liberi La Wikipedia delle mappe
38. Dati geografici creati e controllati da attori privati ed enti governativi costosi per chi li crea e per chi li utilizza restrittivi sui termini di redistribuzione difficili da mantenere aggiornati Un po' di storia... Progetto ideato da Steve Coast nel 2004
39. Un po' di storia... Progetto ideato da Steve Coast nel 2004 Dati geografici creati e controllati dalla comunità in modo volontario e collaborativo (modello Wikipedia) distributi con licenza libera aggiornati in tempo reale tutti possono contribuire!
40. Un po' di storia... OSM 10th Year Anniversary OSM 10th Year Anniversary
41. Perché OpenStreetMap? Dati creati da enti pubblici: aggiornamenti rari a volte a pagamento
42. Perché OpenStreetMap? Dati creati da aziende private: aggiornamenti periodici alti costi
43. Perché OpenStreetMap? Dati creati da aziende private: restrizioni di utilizzo
44. Perché OpenStreetMap? Dati creati da aziende private: restrizioni di utilizzo
45. Perché OpenStreetMap? Le mappe e i dati geografici su cui sono basate sono sempre una rappresentazione della realtà By René Magritte(1898-1967) - Image taken from a University of Alabama site, "Approaches to Modernism": [1], Fair use (Old-50), https://en.wikipedia.org/w/index.php?curid=555365
46. Perché OpenStreetMap? Affidarsi ad un’unica voce significa fare riferimento a ciò che il proprietario della mappa decide o meno di mostrare
47. Perché OpenStreetMap? Una mappa collaborativa permette di avere una visione “discussa/concertata”, esito di più voci diverse. Mappare è un’attività di comunità!
48. La comunità Renania Settentrionale- Vestfalia, Germania Terms & Conditions 3 minutes ago wies1 modified building=apartments Gebäude bearbeitet in JOSM/1.5 (18822 de) 278 ☰ Terms & Conditions
49. La comunità OSM Communities
50. Chi usa OpenStreetMap Università e Enti di Ricerca World Bank, ONU, MSF, Red Cross Molti enti, diverse regioni e comuni Corpo Nazionale Vigile del Fuoco Dipartimento della Protezione Civile ISTAT, Agenzia delle Entrate, Carabinieri ...
51. Chi usa OpenStreetMap
52. Cosa si può mappare Infrastrutture di trasporto Strutture di servizio Punti di interesse Elementi naturali Usi del suolo ...
53. Cosa si può mappare Aggiungere dettagli, caratteristiche
54. Cosa si può mappare Dati verificabili un altro mappatore dovrebbe essere in grado di recarsi nello stesso luogo e raccogliere gli stessi dati ("verificare" i dati inseriti)
55. Cosa NON si può mappare Informazioni private Elementi storici non più presenti Elementi non stabili nel tempo o temporanei Dati ricavati da fonti proprietarie
56. I dati su OpenStreetMap Le geometrie di base - Nodi
57. I dati su OpenStreetMap Le geometrie di base - Linee
58. I dati su OpenStreetMap Le geometrie di base - Aree
59. I dati su OpenStreetMap Le caratteristiche (etichette)
60. La risposta è nella Wiki Map features OpenStreetMap represents physical features on the ground (e.g., roads or buildings) using tags attached to its basic data structures (its nodes, ways, and relations). Each tag describes a geographic attribute of the feature being shown by that specific node, way or relation. OpenStreetMap's free tagging system allows the map to include an unlimited number of attributes describing each feature. The community agrees on certain key and value combinations for the most commonly used tags, which act as informal standards. However, users can create new tags to improve the style of the map or to support analyses that rely on previously unmapped attributes of the features. Short descriptions of tags that relate to particular topics or interests can be found using the feature pages. Most features can be described using only a small number of tags, such as a path with a classification tag such as highway=footway, and perhaps also a name using name=*. But, since this is a worldwide, inclusive map, there can be many different feature types in OpenStreetMap, almost all of them described by tags. There are proposed changes to existing tags, inactive features and deprecated features. If you do not find a suitable tag in this list then feel free to make something suitable up as long as the tag values will be verifiable. Over time, you may find that the tag name is changed to fit with some wider consensus. However, many good tags were used first and documented later. For the latest updates of tagging schemes see Changelog. Primary features Aerialway Aeroway Amenity Sustenance Education Indice
61. Come contribuire Creare un account su OpenStreetMap
62. Come contribuire Editor ID
63. Come contribuire StreetComplete
64. Come contribuire MapComplete
65. Scaricare i dati dal sito dal sito estratti predefiniti OpenStreetMap.org Overpass Turbo Geofabrik HOT export tool
66. Hands on with Python!