Источники информации, источники данных: открытые данные

Курс "Источники информации, источники данных"
Открытые данные

- Открытые данные: определение
- Открытые научные данные данные
- Информация опубликована под свободной лицензией
- Читается машиной
- Государственные органы или на государственные деньги
- Список некоторых порталов открытых данных, созданных государствами
- data.gov (открытые данные США)
- data.gov.ru (Россия)
- Количество наборов на портале
- Фильтр по типу организации
- Формат данных
- Например: транспорт, строительство, торговля и т.п.
- Региональные порталы
- Правительство Нижегородской области / Открытые данные
- Городской портал Нижнего Новгорода
- Порталы министерств
- Росстат (Федеральная служба статистики) gks.ru
- Открытые научные данные
- Примеры использования данных в проекте

1. Открытые данные
2. ru.wikipedia.org/wiki/Открытые_данные • Открытые данные (англ. open data) — концепция, отражающая идею о том, что определённые данные должны быть свободно доступны для машиночитаемого использования и дальнейшей републикации без ограничений авторского права, патентов и других механизмов контроля. Освободить данные от ограничений авторского права можно с помощью свободных лицензий, таких как лицензий Creative Commons. Если какой- либо набор данных не является общественным достоянием, либо не связан лицензией, дающей права на свободное повторное использование, то такой набор данных не считается открытым, даже если он выложен в машиночитаемом виде в Интернет.
3. ru.wikipedia.org/wiki/Открытые_научные_данные • результаты научных исследований, доступные для свободного использования и анализа. • Концепция открытых научных данных активно обсуждалась с 1950-х годов, однако лишь с развитием Интернета удалось существенно снизить затраты и время, необходимые на публикацию данных и доступ к ним.
4. Информация опубликована под свободной лицензией • Creative Commons • Общественное достояние (Public Domain) Читается машиной • XML, JSON, CSV, ... • XLS, XLSX, ...
5. Государственные органы или на государственные деньги • data.gov — портал открытых данных США (вчера открывался только через VPN) • data.europa.eu — открытые данные ЕС • govinfo.nlc.gov.cn — Китай (не работает) • data.go.jp — Япония • data.gov.in - Индия • data.gov.ru — портал открытых данных России • все страны на карте: data.gov.ru/od-map
6. data.gov.ru/od-map
7. data.gov
8. data.gov (открытые данные США) • Сельское хозяйство • Климат • Потребление • Экосистемы • Образование • Энергия • Финансы • Здоровье • Местные правительства (штаты) • Производство • Морской транспорт • Океан • Общественная безопасность • Наука и исследования
9. Код портала на Гитхабе • https://github.com/GSA/data.gov/ • Последний коммит: 2 месяца назад (обновление jQuery в libs) • Последний коммит в код портала: 11 месяцев назад • Сейчас: сентябрь 2018
10. data.gov.ru
11. data.gov.ru (Россия) • Государство • Экономика • Образование • Экология • Здоровье • Культура • Транспорт • Строительство • Торговля • Спорт • Досуг и отдых • Туризм • Безопасность • Картография • Электроника • Метеоданные
12. Количество наборов на портале • Сентябрь 2019: 22250 • Сентябрь 2018: 21418 • Сентябрь 2017: 14065
13. Фильтр по типу организации • Региональные(9527) • Федеральные(8665) • Муниципальные(3178) • Прочие(35) • Научные(5) • Некоммерческие организации(4)
14. Формат данных • CSV • XML (вложенная структура) • JSON (вложенная структура) • XLS (таблицы) • XLSX (таблицы) • ZIP (архив) • GZ (архив) • RTF (текст)
15. Например
16. Транспорт • Выполнение плана дорожных ремонтных работ проезжей части в пределах установленных границ города Москвы • Межрегиональные маршруты пассажирских перевозок • Реестр искусственных дорожных неровностей • Реестр стационарных объектов наблюдения • Список АЗС города Москвы, реализующих моторное топливо, несоответствующее установленным экологическим требованиям • Список АЗС города Москвы, реализующих моторное топливо, соответствующее установленным экологическим требованиям
17. Строительство • Информация по предоставлению земельных участков многодетным семьям для индивидуального жилищного строительства из земель, находящихся в государственной или муниципальной собственности, на территории Новгородской области • Реестр выданных разрешений на ввод объекта в эксплуатацию • Строительство города Димитровграда • Реестр выданных разрешений на строительство
18. Торговля • Информация о розничных ценах на продукты питания на рынках и ярмарках города Астрахани • Средние цены на продукты питания на розничных рынках и ярмарках в Астраханской области • Реестр розничных рынков (Министерство экономического развития Астраханской области) • Оборот розничной торговли на душу населения с 2000 г. • Оборот розничной торговли пищевыми продуктами, включая напитки, и табачными изделиями, проданных на розничных рынках и ярмарках (Федеральная служба государственной статистики)
20. Безопасность > Характеристика граждан, содержавшихся в СИЗО и тюрьмах data.gov.ru/opendata/7706562710-harakteristika-grazhdan-v-sizo
21. Раздел «аналитика» data.gov.ru/analitika • Отчет: российский и зарубежный опыт развития открытых данных, в т.ч. посещения сайта, списки мировых и региональных порталов; • Порталы на карте: информацию о зарубежных порталах открытых данных (история создания, стоимость реализации проекта, особенности портала, основные характеристики) — на карте; • В действии: сведения об использовании открытых данных в России и мире (успешные кейсы реализации сервисов и приложений на основе открытых данных) — ссылки на специализированные сервисы (например: «Российские Школы», «Открытая полиция» и т.п).
22. Региональные порталы data.gov.ru/od-map
23. Правительство Нижегородской области / Открытые данные • government-nnov.ru/opendata • Реестр данных со ссылками — в файле pdf (или в csv — на выбор) :) • government-nnov.ru/?id=189555 • (качаем pdf, ищем блок данных, ctrl+c/ctrl+v ссылка из pdf в адресную строку браузера) • Большинство ссылок (но не все!) ведут на data.gov.ru
24. Городской портал Нижнего Новгорода • Статистика обращений граждан [осень 2019 — уже недоступно]: нижнийновгород.рф/priemnaya/pravila/
25. Порталы министерств • минобрнауки.рф/министерство/статистика — Министерство образования и науки России, статистика • opendata.mon.gov.ru — Министерство образования и науки России, открытые данные • ...
26. Росстат gks.ru ФЕДЕРАЛЬНЫЙ ЗАКОН от 29 ноября 2007г. № 282-ФЗ Об официальном статистическом учете и системе государственной статистики в Российской Федерации
27. ru.wikipedia.org/wiki/ Федеральная_служба_государственной_статистики • Федеральная служба государственной статистики (Росстат) — российский федеральный орган исполнительной власти, осуществляющий функции по формированию официальной статистической информации о социальном, экономическом, демографическом и экологическом положении страны, а также функции по контролю и надзору в области государственной статистической деятельности на территории Российской Федерации. • С 3 апреля 2017 года находится в ведении Министерства экономического развития Российской Федерации.
28. Основные задачи и функции • представление в установленном порядке статистической информации гражданам, Президенту Российской Федерации, Правительству Российской Федерации, Федеральному Собранию Российской Федерации, органам государственной власти, средствам массовой информации, другим организациям, в том числе международным; • разработка и совершенствование научно-обоснованной официальной статистической методологии для проведения статистических наблюдений и формирования статистических показателей, обеспечение соответствия указанной методологии международным стандартам; • разработка и совершенствование системы статистических показателей, характеризующих состояние экономики и социальной сферы; • сбор статистической информации и формирование на её основе официальной статистической отчетности;
29. Основные задачи и функции • контроль за выполнением организациями и гражданами, осуществляющими предпринимательскую деятельность без образования юридического лица, законодательства Российской Федерации в области государственной статистики; • развитие информационной системы государственной статистики, обеспечение её совместимости и взаимодействия с другими государственными информационными системами; • обеспечение хранения государственных информационных ресурсов и защиты конфиденциальной и отнесенной к государственной тайне статистической информации; • реализация обязательств Российской Федерации, вытекающих из членства в международных организациях и участия в международных договорах, осуществление международного сотрудничества в области статистики.
30. Официальная статистика • gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/ statistics/accounts/ • Для каждого отчета указывается методология (опрос, выборка, перепись, сбор информации от коммерческих организаций, информация от государственных организаций и т.п.)
31. Росстат: население • Демография (Численность и состав населения, Естественное движение населения, Браки и разводы, Миграция, Демографический прогноз до 2035 года) • Уровень жизни • Образование • Здравоохранение • Правонарушения • Жилищные условия • Неравенство и бедность • Семья, материнство и детство • Старшее поколение • Положение инвалидов
32. Росстат: рынок труда, занятость и заработная плата • Трудовые ресурсы • Заработная плата • Условия труда
33. Росстат: предпринимательство • Институциональные преобразования в экономике • Основные фонды • Промышленное производство • Сельское хозяйство, охота и лесное хозяйство • Рыболовство и рыбоводство • Строительство • Транспорт • Розничная торговля, услуги населению, туризм • Оптовая торговля и товарные рынки • Инвестиции
34. Росстат: наука, инновации и информационное общество • Наука и инновации • Информационное общество
35. Зимой 2018-2019... • 24 декабря 2018: Медведев сменил руководителя Росстата • 29 дек 2018: Росстат отчитался об отсутствии рецессии в 2016 году • 3 апреля 2019: Кремль попросил Росстат разъяснить данные о том, что трети семей в РФ не хватает денег на обувь
36. и так далее...
37. Открытые научные данные • data.gov/research/ - Раздел Science and Research на data.gov • science.gov — поисковик по научным базам США: searches over 60 databases and over 2,200 scientific websites • opendata.cern.ch — портал ЦЕРН (Большой адронный коллайдер): Explore more than 1 petabyte of open data from particle physics! • На российском портале специального раздела «Наука» пока нет, но можно отфильтровать научные организации
38. Например, у нас проект • Нацелен на детей школьного возраста, 5-6-7 класс (что-то из области образования, проведения целевых публичных мероприятий или хотим шить школьную форму) • Масштаб действия — город, регион, несколько регионов • Вопрос: хватит ли во всем регионе учеников указанных классов, чтобы покрыть объемы нашего производства школьной формы или наполнить сеть наших кружков?
39. gks.ru → минобрнауки.рф • → Министерство • → Статистика • → Статистическая информация 2017 • → Общее образование • → Сводные отчеты по форме ФСН № ОО-1 на начало 2017/18 учебного года • → (ГОУ) (город): 41d6d13369a967943a8e.zip • → Нижегородская область (ГОУ) (город).xlsx • → Раздел 2.1.1.1 Численность и состав обучающихся
40. Сводные отчеты по форме ФСН № ОО-1 на начало 2017/18 учебного года минобрнауки.рф/министерство/статистика/ информация-2017/общее-образование-2017/ОО-1-2017
41. Задание (проект) • Информационное обеспечение крупного проекта: • Найти что-то полезное в открытых данных на российских порталах • Если в российских открытых данных ничего найти не получается, сделать то же самое для проекта в другой стране (в США, Европе или Китае) — поискать информацию на их порталах.
42. Задание (расследование)
43. Отдыхают все: рейтинг стран по числу выходных дней и праздников в году • Новость: iz.ru/news/655625 (газета Известия) • Согласно сводным данным Международной организации труда (МОТ) и Организации экономического сотрудничества и развития (ОЭСР), россияне входят в число самых работающих наций и занимают шестую строчку рейтинга. При 40-часовой трудовой неделе у жителей нашей страны набирается 1980 рабочих часов в год. При этом дополнительных выходных дней, предоставляемых государством в праздники, у граждан РФ 12, что является одним из самых высоких показателей в мире.
46. Нестыковки? • Алексей Ушаков: Не понимаю, в Германии 40 часовая неделя, как в России, длительность праздников и отпуска почти такая же. Почему же в год набирается на 30% меньше рабочих часов? • Anton Moiseev: Да, интересно, нужно смотреть, что там за методика подсчета в первоисточнике. Сначала подумал, что в России учли работающих на 2х работах, но посчитал просто по формуле (365/7*40- 8*12)=1990 рабочих часов в году при 40часовой рабочей неделе и 12 выходных, т.е. в таблице для России простая формула по часам, а что для других стран - не понятно. Возможно, в Германии принято работать на 2/3 ставки, или при хорошем доходе традиция брать неоплачиваемый отпуск, или там делят в среднем отработанные часы на все работоспособное население или что-то мухлюют с подсчетом. • Алексей Ушаков: Anton Moiseev Возможно дело в неполной нагрузке.
47. Источники • Рабочих часов в год: Организация экономического сотрудничества и развития (данные за 2015г.) • Количество праздничных дней, количество дней оплачиваемого отпуска: Международная организация труда • В подвале под диаграммой: ILO (International Labour Organization — Международная организация труда), OECD (Organisation for Economic Co-operation and Development — Организация экономического сотрудничества и развития) • В тексте: Международной организации труда (МОТ) и Организации экономического сотрудничества и развития (ОЭСР) • Итого: ОЭСР (OECD) + МОТ (ILO)
48. Ресурсы указанных организаций • Международная организация труда (МОТ/ILO): ilo.org • Организация экономического сотрудничества и развития (ОЭСР/OECD) en.wikipedia.org/wiki/OECD oecd.org oecdru.org/statistic.html (Статистика по России)
49. И самое интересное • Найти на ресурсах перечисленных организаций отчеты, на которые ссылается статья в газете • Определить методику расчета количества рабочих часов в год для перечисленных стран (пусть будет Россия и Германия) • Выяснить, почему количество рабочих часов в год, указанное в таблице, и значение, рассчитанное по продолжительности рабочей недели и отпускам, совпадают в России, но не совпадают в Германии и в других странах