Геоданные в Tableau, часть 2

Вторая часть тренинга по визуализации геоданных в Tableau

Визуализация линейных объектов
Создание картограмм с произвольными областями
Визуализация сети распределения
Визуализация данных поверх плана-подложки
Интерактивность
Пользовательская база данных для геокодирования

Ссылки на ресурсы работают, если скачать файл презентации к себе на компьютер

Transcript

1. Визуализация данных на географических картах Следующий уровень v0.6 Заходякин Глеб Викторович postlogist@gmail.com Школа логистики НИУ ВШЭ
2. План занятия • Визуализация линейных объектов • Создание картограмм с произвольными областями • Визуализация сети распределения • Использование изображений в качестве подложки для карты • Интерактивность • Пользовательская база данных для геокодирования 2
3. Визуализация линейных объектов • Линейные объекты на картах изображаются с помощью ломаных линий (возможно, с очень большим числом сегментов, чтобы обеспечить гладкость) • Для построения ломаной линии нужны 4 поля: координаты каждого узла, порядковый номер узла, код линии. Порядковый номер узла должен быть числового типа, либо датой/временем. Код линии может быть любого дискретного типа 3
4. Визуализация: полигоны • Полигоны в Tableau рисуются так же, как и линейные объекты – по точкам, и отличаются от них лишь тем, что их граница замкнута и есть заливка • Для построения полигона линии нужны 4 поля: координаты каждого узла, порядковый номер узла, код фигуры. Порядковый номер узла должен быть числового типа, либо датой/временем. Код фигуры может быть любого дискретного типа 4
5. Файлы данных • Файлы данных для выполнения тренинга можно загрузить по ссылке: bit.ly/tableau-training 5
6. КАРТА ЛИНИЙ МОСКОВСКОГО МЕТРОПОЛИТЕНА Визуализация линейных объектов 6
7. Описание • В этом разделе тренинга вы узнаете, как визуализировать на карте линейные объекты • В качестве примера мы создадим карту линий московского метрополитена 7
8. Файл данных • Изучите содержимое файла metro_stations.xlsx в Excel • Источник данных – Википедия: https://ru.wikipedia.org/wiki/Список_станций_Московского_метрополитена – На листе Станции содержится список станций московского метро с указанием координат и характеристик. – На листе Линии содержится список линий метрополитена и их цветовые обозначения на схеме метро • Создайте новую рабочую книгу: metro_stations.twbx • Закройте файл в Excel и создайте подключение к данным на листе Станции в Tableau (можно просто перетащить файл в окно Tableau) • При импорте укажите географическую роль – Latitude и Longitude для полей Широта и Долгота 8
9. Данные о маршрутах линий метрополитена • На рисунке показан фрагмент таблицы с данными о станциях (часть строк и столбцов скрыта) • В таблице для каждой станции указаны координаты, номер и название линии, порядковый номер на линии • Обратите внимание, что начальный и конечный узел ломаной линии не соединяются автоматически, поэтому запись о станции Парк культуры продублирована, чтобы кольцевая линия получилась замкнутой 9
10. Визуализация линий метро на карте • Числовые поля Линия и Порядковый номер на линии по умолчанию добавлены в список фактов. Сделайте их измерениями, перетащив в список Dimensions • Добавьте координаты станций в область строк и столбцов • Добавьте название линии в область цвета (Color) • Поменяйте тип графического элемента на панели Marks на Line и добавьте измерение Порядковый номер на линии в область Path • Щелкните по области Color и включите отображение маркеров, чтобы показать расположение станций, там же установите полупрозрачность (Transparency) • В контекстном меню цветовой легенды выберите Edit Colors… и назначьте линиям привычные цвета (см. лист Линии в Excel) • Задайте имя листа в книге Tableau - Линии 10
11. Добавление вычисляемых полей • Интересно помимо расположения станций отразить на карте их характеристики – например, возраст и глубину залегания. Чтобы рассчитать возраст, можно воспользоваться функцией DateDiff() • Чтобы создать вычисляемые поля, выберите команду Create Calculated Field… в контекстном меню области данных • Формулы для вычисления полей можно печатать с клавиатуры, или выбирать их элементы, щелкая по спискам полей и функций • Для удобства поиска нужных функций, используйте категории функций (Date) • Краткая подсказка по функции выводится здесь же • Глубина в наборе данных указана как отрицательное число. Для визуализации удобнее использовать противоположное ей число. Создайте поле Глубина2, вычисляемое по формуле: - Глубина 11
12. Визуализация глубины залегания станций • Продублируйте созданный ранее лист Линии. Назовите копию Глубина залегания станций • Перетащите поле Глубина2 в область размера (Size) • Зажав правую кнопку мыши, перетащите поле Название станции в область метки (Label). Выберите в появившемся диалоге (Drop Field) вариант ATTR(Название станции). – Измерение Название станции преобразуется в атрибут. В отличие от измерений, атрибуты не используются для группировки данных. Если не делать такое преобразование, то вся сеть разделится на отдельные станции • Щелкнув по области метки (Label), задайте, чтобы метки выводились только для подсвеченных (Highlighted) объектов. Запретите перекрытие меток с другими объектами (Allow labels to overlap other marks) • Результат показан на рисунке. Проверьте, чтобы в области цветовой легенды был включен режим подсветки для всех объектов того же цвета: по клику на станции должна выбираться вся линия 12
13. Визуализация возраста станций • Продублируйте предыдущий лист и назовите копию: Возраст станций • В области Size замените поле Глубина2 на Возраст 13
14. Визуализация развития метрополитена • Чтобы можно было видеть, как росла сеть метрополитена, добавим фильтр по году открытия станции • Перетащите поле Дата открытия в область фильтра (Filters). Выберите Year в появившемся окне Filter Field. В окне настройки фильтра пока можно ничего выбирать, нажмите OK • В контекстном меню поля Дата открытия в области фильтров переключите тип дат на непрерывные годы (Year в нижней части меню) • Появится окно настройки фильтра. Выберите здесь фильтрацию по дате окончания (Ending date). Пока не меняйте порог фильтра 14
15. Добавление быстрого фильтра • В контекстном меню поля Дата открытия в области фильтров выберите Show Filter • Попробуйте менять порог фильтрации, вы увидите, как росла со временем сеть московского метро • Слайдер быстрого фильтра можно двигать с помощью стрелок на клавиатуре (нажатие клавиши Shift позволяет изменять порог более плавно) 15
16. Настройка карты-подложки • В предыдущем тренинге мы уже добавляли новые источники карт для подложки. Теперь мы рассмотрим, что можно сделать с помощью настройки штатных карт Tableau • В меню Map выберите команду Map Layers… • Область данных заменится на окно форматирования карты. Здесь можно: – выбрать стиль карты – темный, светлый, стандартный; – осветлить подложку (washout), чтобы пестрые цвета не отвлекали пользователя от ваших данных – включить или отключить некоторые элементы карты-подложки: границы, названия, дорожную сеть… – некоторые типы карт (в основном, на территорию США) позволяют накладывать слои со статистическими данными по регионам • С помощью форматирования, постарайтесь получить вид карты-подложки как на рисунке 16
17. ДЕМОГРАФИЯ НОВОЙ МОСКВЫ Создание картограмм с произвольными областями 17
18. Описание • В этом разделе тренинга вы узнаете как создавать картограммы для нестандартных географических регионов • В качестве примера мы визуализируем демографические данные на карте районов Москвы 18
19. Расширение встроенных областей • Для создания картограмм необходимы данные о границах географических областей (полигонов), которые в дальнейшем будут использоваться для отображения различных показателей. В Tableau на данный момент содержатся границы стран и крупных регионов. Детализация до более мелких территорий – областей, почтовых индексов доступна лишь для некоторых стран. Кроме того, данные о границах государств могут не соответствовать современным реалиям • Если необходимо визуализировать показатели мелких территорий, или интересующие объекты в принципе не совпадают с границами административного деления, то требуется загружать в Tableau собственные данные, отражающие границы объектов. • Про использование полигональных карт для визуализации можно почитать здесь и посмотреть учебное видео здесь. 19
20. Подготовка данных о границах областей • В этом тренинге вы будете использовать готовые данные в формате ESRI shapefile (шейп-файлы) • Данная информация понадобится вам, если вы хотите сделать полигоны для карты самостоятельно: – Для самостоятельной подготовки данных потребуется обработка с помощью геоинформационных систем. Исходные данные, как правило, находятся в формате ESRI shapefile (шейп файлы). Хороший источник открытых геоданных – сообщество GISlab. Например, исходные данные по АТД Москвы взяты отсюда. Ознакомьтесь со списком других проектов GISlab – Начиная с версии 10.2 Tableau может загружать шейп-файлы напрямую. Здесь и здесь рассказано, как пользоваться этой функцией – Если вы хотите использовать таблицы с координатами вершин полигонов, то сначала потребуется получить их на основе шейп-файлов. При этом, как правило, требуется также упрощение границ для уменьшения объема данных и увеличения скорости визуализации. На данный момент наиболее удобным способом преобразования геоданных является использование онлайн-конвертера Tableau Shapefile To Polygon Converter, разработанного Craig Bloodworth и доступного в галерее Alteryx – О том, как самостоятельно преобразовать геоданные в табличный формат, можно почитать в этой статье базы знаний Tableau (здесь используется открытая ГИС – QGis, которую можно установить, как описано здесь) 20
21. Подключение к данным Для выполнения задания вам потребуются два файла: Moscow.zip (zip-файл с различными данными по Москве; мы будем работать с конкретным шейп- файлом boundary-polygon.shp) и New_Moscow_Demography.xlsx (данные о демографии с сайта Мосгорстат), доступные на Яндекс Диске. 21 • Создайте новую рабочую книгу: moscow.twbx • Создайте подключение к файлу boundary- polygon.shp. Обратите внимание, что для полей Latitude, Longitude и Geometry уже установлены соответствующие географические роли • Перейдите к листу визуализации. Чтобы создать карту, добавьте координаты в область строк и столбцов. Для создания полигонов (границ административных районов) перетащите поле Geometry в область Деталей. • Измените имя листа на Новая Москва
22. Визуализация границ АО • Если посмотреть на исходный источник данных, можно заметить, что данные в нем хранятся по слоям. Так, 4 слой используется для обозначения границ Москвы и Московской области, 5 слой – для административных округов, 8 слой – для районов. 22 • Для визуализации границ АО мы будем работать с 5 слоем. Для этого необходимо создать фильтр по слою (имя поля – ADMIN_LVL) и в окне настройки фильтра выбрать 5. • После этого добавьте название административного округа в цвет.
23. Подключение к данным о демографии • Для создания картограммы, продублируйте лист и назовите копию Демография Москвы. В дальнейшем работайте с этим листом • Добавьте еще одно подключение – к файлу New_Moscow_Demography.xlsx 23 • В результате в списке источников данных должны отображаться два подключения:
24. Поля для объединения источников • Для наложения на карту данных о демографии, необходимо объединить (blend) данные из двух источников по общим ключевым полям • Выполните команду: Data – Edit Relationships… • Выберите в качестве основного источника набор данных с границами (boundary-polygon) • Установите между наборами данных связь по ключевым полям – NAME (в шейп-файле) и District (в файле с данными о демографии) 24
25. Создание картограммы численности населения • Так как теперь мы работаем со слоем районы, необходимо изменить значение фильтра на 8 25 • Поскольку мы используем объединение источников (data blending), необходимо чтобы ключевое поле было одним из измерений, используемых в визуализации. Добавьте поле District в детали. Поле NAME, которое было ранее добавлено в область цвета, необходимо убрать • В списке подключений выберите подключение к файлу с демографическими данными • Перетащите поле TotalPopulation в область цвета. Результат показан на следующем слайде
26. Картограмма численности населения 26
27. Картограмма доли населения моложе 18 лет • Создайте вычисляемое поле для расчета доли населения моложе 18 лет и визуализируйте эту долю. В каких районах больше всего молодежи? • Используя панель Format и редактор текста всплывающих подсказок, добейтесь вида подсказки, показанного на рисунке 27
28. ВИЗУАЛИЗАЦИЯ СЕТИ РАСПРЕДЕЛЕНИЯ Визуализация линейных объектов 28
29. Описание • В этом разделе тренинга вы узнаете, как визуализировать на карте схему и характеристики потоков в логистической сети • В качестве примера мы рассмотрим сеть распределения крупного ритейлера 29
30. Файл данных • Создайте новую книгу Tableau – distribution network.twbx • Создайте подключение к файлу distribution_network.csv – Укажите для поля Name тип данных: String – Выберите режим подключения: Extract • Основные поля для визуализации сети: координаты склада/магазина (данные уже геокодированы), Маршрут (каждое сочетание склад – магазин имеет свой уникальный номер маршрута), Порядковый номер (1 – склад, 2 – магазин). Также с маршрутом связаны несколько характеристик – поток (FlowTrucks, FlowPallets), коэффициент загрузки машин (TruckUtilization) • Size – это характеристика склада (размер арендуемой площади), он продублирован для всех маршрутов, которые начинаются на данном складе • MaxDays – это максимально допустимое число дней на поставку для данного магазина 30
31. Названия объектов • Сейчас для складов и магазинов названия содержатся в разных столбцах • Поскольку подписи для объектов на карте должны формироваться на основе одного поля, необходимо создать вычисляемое поле Название, которое будет для всех пунктов отправления (порядковый номер = 1) содержать название склада, а для всех пунктов назначения (порядковый номер = 2) – название магазина 31
32. Визуализация размещения объектов • Переименуйте рабочий лист в Сеть распределения • Сделайте поля Маршрут и Порядковый номер измерениями • Добавьте координаты в область строк и столбцов (Rows/Columns) • Добавьте Название в область метки (Label) • Переключите тип графического элемента (Marks) на Shape и добавьте Порядковый номер в область фигуры (Shape) и цвета (Color) • Выберите для складов (порядковый номер = 1) красные треугольники с заливкой, а для магазинов – зеленые круги с заливкой (в контекстном меню легенды для фигур и цветов) • Задайте для поля Size агрегирующую функцию по умолчанию – AVG (среднее) и перетащите это поле в область размера (Size) 32
33. Визуализация товарных потоков • Продублируйте (Ctrl-перетаскивание) поле Latitude в области строк (Rows) • В области Marks откройте карточку для первого поля Latitude (соответствует верхней диаграмме) • Удалите все поля из области Marks • Переключите тип графического элемента на Line • Добавьте поле Маршрут в детали (Detail), а поле Порядковый номер – в Path. • Добавьте поле FlowTrucks в область размера (Size). • Выберите темно-синий цвет для линии (Color) • Совместите диаграммы, выбрав в контекстном меню поля Latitude режим Dual Axis 33
34. ДОСТОПРИМЕЧАТЕЛЬНОСТИ НА СХЕМЕ ТОКИЙСКОГО МЕТРО Использование изображения как подложки 34
35. Описание • В этом разделе тренинга вы узнаете, как сделать визуализацию пространственных данных поверх произвольного изображения (схемы, плана и т.п.) • В качестве примера мы рассмотрим, как сделать интерактивную карту достопримечательностей на схеме Токийского метро 35
36. Файл данных • Создайте новую рабочую книгу japan_subway.twbx • Создайте подключение к источнику данных japan_subway.xlsx • Файл данных содержит список достопримечательностей Токио • Ваша задача – визуализировать эти достопримечательности на схеме Токийского метро 36
37. Изображение-подложка • В качестве подложки для визуализации можно использовать не только географические карты, но и любой графический файл. С этим файлом можно связать условную систему координат, и затем использовать эти координаты в наборе данных. • Выполните команду Map>Background Images и выберите набор данных japan_subway. • В списке Background Images нажмите Add Image… • Укажите путь к файлу japan_subway.jpg • Свяжите X Field с полем x в наборе данных и установите правую границу в 100 • Свяжите Y Field с полем y в наборе данных и установите верхнюю границу в 60 • На вкладке Options выберите Always show entire image • Установите размытие изображения 37
38. Визуализация набора данных • Добавьте координаты x, y в область столбцов и строк, поле Name - в область метки • Добавьте поля Comment и URL в область подсказки (Tooltip) • Отредактируйте параметры подсказки и графического элемента, чтобы получить результат как на рисунке • Отключите вывод подписей для координатных осей (Show header в контекстном меню оси) 38
39. Как получить координаты • Предположим, мы хотим включить в набор данных координаты станции Meguro. Когда уже есть привязанное изображение, координаты точки можно получить так: – установите курсор мыши в нужную точку и в контекстном меню выполните команду Annotate>Point – в полученной аннотации будут указаны нужные координаты 39
40. Интерактивность • С рабочим листом можно связывать действия, которые срабатывают, когда пользователь указывает или выделяет графический элемент на листе • Выполните команду меню Worksheet>Actions и добавьте новое действие Add Action >URL • Укажите имя для действия (Name): Найти <Name> Area в Google Maps. Примечание: название поля в угловых скобках надо добавлять через меню Insert • В области Run Action on нужно выбрать: Menu • В поле URL укажите: https://maps.google.com/maps?q=<Name>,+Tokyo,+Japan&hl=en Примечание: название поля в угловых скобках надо добавлять через меню Insert • Если вы хотите использовать поля, содержащие строки на русском языке, то, скорее всего, потребуется установить флажок URL Encode • Теперь при наведении мыши на станцию в подсказке должна быть ссылка на Google maps 40
41. Несколько применений • Как сделать возможность визуального выбора товарных категорий на плане торгового зала розничного магазина (результат и видео) • Как сделать планограмму (статья) • Спортивные травмы (пример) 41
42. ПОЛЬЗОВАТЕЛЬСКАЯ БАЗА ДЛЯ ГЕОКОДИРОВАНИЯ Расширение возможностей Tableau 42
43. Описание • Чтобы мы могли визуализировать данные на карте используя названия объектов, в Tableau встроена база данных для геокодирования. • Чтобы выбрать, какая таблица будет использоваться для геокодирования, необходимо назначить полю набора данных географическую роль • Поскольку названия объектов могут дублироваться, в Tableau используется иерархия географических ролей, в которых объекты разделены на несколько уровней, например: – Country (Name) – Country (Name), State/Province – Country (Name), State/Province, City – Country (Name), State/Province, County – Country (Name), ZIP Code/Postcode – Country (Name), Area Code • Можно дополнять и расширять существующие иерархии, либо добавлять собственные. В этом разделе тренинга мы покажем, как это сделать 43
44. Импорт данных для геокодирования • Чтобы обеспечить возможность геокодирования названий населенных пунктов на русском языке, мы дополним базу данных геокодирования Tableau • Распакуйте содержимое архива russian_geocoding.zip на рабочий стол (должна появиться папка russian geocoding, содержащая 3 файла) • Выполните команду меню Map/Geocoding/Import custom geocoding… • Укажите в диалоге Import Custom Geocoding путь к папке russian geocoding и нажмите Import • В вашем личном каталоге (Мои документы>My Tableau Repository) создастся копия базы данных геокодирования, в которую будут добавлены данные о русских названиях • Удалить данные для геокодирования можно с помощью команды меню: Map/Geocoding/Remove custom geocoding • Будет создана новая иерархия географических ролей: Субъект [федерации] > Район > Название • Описание требований к файлам для импорта содержится в справке Tableau. Попасть в нужный раздел можно с помощью ссылки “Learn about Custom Geocoding” в окне Import Custom Geocoding • Данные для геокодирования можно найти на сайтах: geonames.org, geonames.nga.mil, gis-lab.info • Данные в базе, которую мы импортировали, созданы на основе набора данных, подготовленного сообществом gis-lab.info: http://gis-lab.info/qa/vmap0-settl-rus.html 44
45. Файл данных • Создайте новую рабочую книгу: top_cities.twbx • Создайте подключение к источнику данных top_cities.csv – это данные о городах России с населением свыше 100 жителей – источник: http://ru.wikipedia.org/wiki/Список_городов_России_с_населением_более_100_тысяч_жителей • Если программа не распознала, что в первой строке файла содержатся заголовки, то выберите в настройках таблицы этот режим • Выберите для полей Город и Субъект географические роли: Название и Субъект 45
46. Визуализация развития городов • Добавьте поля Город и Субъект в область деталей (Detail) • Сделайте поле Год измерением и добавьте его в область страниц (Pages) • Добавьте поле Население в область размера (Size) • Запустите анимацию, нажав на кнопку воспроизведения в области Pages • В большинстве случаев, импортированная база для геокодирования содержала координаты нужного города, однако некоторые города там отсутствуют, даже крупные 46