компания с представительствами и контрактами по всему миру (как Рейтер) • Если организации присылают вам ежегодные финансовые отчеты, иначе их штрафуют (как Росстат) • Если у вас есть сервис с >= млн. активных пользователей, которые сами по себе являются источником информации для анализа и продажи (как Фейсбук) или которых можно заставить размечать данные (как Гугл: рекапча, сфетофоры) • Фрилансеры в странах 3-го мира за невысокую зарплату • Финских заключенных наняли обучать алгоритмы hightech.plus/2019/03/29/finskih-zekov-nanyali-obuchat-algoritmi
в рамках какой-то системы ERP (Enterprise resource planning) • Данные хранятся централизованно в СУБД системы ERP • Обычно система ERP уже содержит модули простой или продвинутой аналитики и работы с данными • Возможно, в некоторых случаях придется поработать над разбором и объединением данных из разных хранилищ (разные эпохи автоматизации, отдельные бизнес-процессы со своими инструментами автоматизации, разные отделы и т.п.) • Скорее всего вы работаете в этой корпорации
генерируют отчеты, продают дорого • Кое-что выкладывают в открытый доступ (аннотация, отчет частично или целиком для имиджа и рекламы) • Консалтинг, аудит • Государственное планирование капиталистических экономик • Обычно выкладывают результат, но не исходные данные • Но вы можете устроиться к ним на работу, в таком случае эти отчеты будете создавать вы из сырых данных Коммерческая аналитика
всего сотрудников 230 тыс. человек, выручка в 2015 $28,7 млрд - есть офис в Москве • IDC (ИТ и коммуникации) idc.com • Gartner (рынок ИТ) www.gartner.com - капитализация $3.2 млрд на начало 2011 • Reuters (новости и финансовая информация, существуют с середины XIX в.) www.reuters.com • PWC (консалтинг и аудит) www.pwc.com, www.pwc.ru - есть офис в Москве - программа набора сотрудников из регионов: www.pwc.ru/ru/careers/regions/v-moskve-kak-doma.html
www.pwc.ru/ru/careers/graduate-job-search.html • Регионы: Москва, Казань • Например: Junior Data Scientist in Data Analytics group (Moscow) - Unfinished/finished higher degree (preferred Math, Computer Science, Physics, Operational Research or related) - Good knowledge of SQL - Experience with analysis of large data sets (in particular a good knowledge of machine learning algorithms) www.pwc.ru/ru/careers/graduate-job-search/description.html? wdjobreqid=35633WD&wdcountry=RUS&wdjobsite=Global_Campus_Caree rs
www.ibs.ru, www.luxoft.ru - штаб-квартира в Москве, 7200 сотрудников по миру - магистратура в МФТИ, МИСиС • АЦ при правительстве РФ ac.gov.ru - информационно-аналитическое сопровождение и экспертная поддержка деятельности Правительства России - исторический наследник Главного вычислительного центра Госплана СССР - Кадровый резерв ac.gov.ru/vacancy/: […] опыт работы с большим количеством информации
• участие в организации и проведении экспертных мероприятий; • разработка предложений по реализации научно-исследовательских и консультационных проектов. Требования: • профильное высшее образование (наличие ученой степени приветствуется); • представление о системе государственной власти в России, знакомство с ключевыми направлениями деятельности правительства; • опыт проведения научно-исследовательских и консультационных работ, в том числе для органов государственной власти; • опыт работы с большим количеством информации.
разных отчетов по рынку технологий от 3х лиц и за собственным авторством rb.ru/reports/ rb.ru/services/ — сойдет в качестве примеров финальных продуктов • И так далее • ...
да (иначе бы все сразу пересчитывали медиану вместо среднего) • Но может попасться какая-нибудь таблица, по которой можно будет сделать свою группировку или разбивку
за государственные деньги • Опубликована под свободной лицензией (Creative Commons, Общественное достояние — Public Domain, ...) • Читается машиной (XML, JSON, CSV, ...)
открытых данных США (вчера открывался только через VPN) • data.europa.eu — открытые данные ЕС • govinfo.nlc.gov.cn — Китай (не работает) • data.go.jp — Япония • data.gov.in - Индия • data.gov.ru — портал открытых данных России • все страны на карте: data.gov.ru/od-map
выкладывают информацию на портал • Иногда ее же удобнее найти на сайте министерств • Информация собрана в одном месте • Рассортирована по рубрикам • В основном обрезки и мусор • Но можно поискать жемчужины
данных со ссылками — в файле pdf (или в csv — на выбор) :) • government-nnov.ru/?id=189555 • (качаем pdf, ищем блок данных, ctrl+c/ctrl+v ссылка из pdf в адресную строку браузера) • Большинство ссылок (но не все!) ведут на data.gov.ru
отчеты компаний • Курсы валют, биржевые индексы, котировки акций • Что-то должно быть в открытом доступе (TODO) • Коммерческие базы по подписке (базы Рейтерз)
Российской Федерации установлен особый конституционно-правовой статус Центрального банка России, определено его исключительное право на осуществление денежной эмиссии (часть 1) и в качестве основной функции — защита и обеспечение устойчивости рубля, независимо от других органов государственной власти (часть 2). • Эти функции, как указал Конституционный суд Российской Федерации «по своей природе относятся к функциям государственной власти, поскольку их реализация предполагает применение мер государственного принуждения». • Статус, цели деятельности, функции и полномочия Банка России определяются также Федеральным законом 10 июля 2002 года № 86-ФЗ «О Центральном банке Российской Федерации (Банке России)» и другими федеральными законами.
России Еженедельно (100 номеров в год) На бумажном носителе (1000 экз.) / электронная версия* • Статистический бюллетень Банка России (на рус. яз.) Ежемесячно На бумажном носителе (730 экз.) / электронная версия* • ...
ставке • Задолженность кредитных организаций перед Банком России по сделкам «валютный своп» • Ставка RUONIA • Параметры аукционов РЕПО в рублях и валютный своп по покупке долларов США и евро за рубли • Данные об остатках денежных средств кредитных организаций на депозитных счетах в Банке России • …
класс компьютерных баз данных, содержащих тексты указов, постановлений и решений различных государственных органов. • Подкрепленные нормативными документами, они также содержат консультации специалистов по праву, бухгалтерскому и налоговому учету, судебные решения, типовые формы деловых документов и др. • Повышают производительность юристов, бухгалтеров, аудиторов, руководителей организаций при решении правовых вопросов.
проекты законов, публикация принятых законов, исторические документы (законы СССР, Российской Империи) pravo.gov.ru • Документы, приказы исполнительной власти • Судебные решения • Обычно есть интерфейс для онлайн-поиска и возможность скачивать отдельные документы
3 тыс. сотрудников роботам-юристам www.rbc.ru/rbcfreenews/5877b2979a79478752358fb9 • 10 ноября 2018: Внедрение ИИ в Сбербанке привело к сокращению 70% менеджеров среднего звена 1prime.ru/telecommunications_and_technologies/20181110/8294 24797.html • 26 февраля 2019: Греф признал потерю миллиардов рублей из-за искусственного интеллекта www.rbc.ru/finances/26/02/2019/5c74f4839a7947501397823f
(в основном текстовые отчеты, но можно поискать статистику) • SWIFT (Общество всемирных межбанковских финансовых каналов связи): www.swift.com/news-events/publications • Международная организация труда (МОТ/ILO): ilo.org • Организация экономического сотрудничества и развития (ОЭСР/OECD) en.wikipedia.org/wiki/OECD oecd.org - (много таблиц онлайн) - статистика по России: oecdru.org/statistic.html
на data.gov • science.gov — поисковик по научным базам США: searches over 60 databases and over 2,200 scientific websites • opendata.cern.ch — портал ЦЕРН (Большой адронный коллайдер): Explore more than 1 petabyte of open data from particle physics! • На российском портале специального раздела «Наука» пока нет, но можно отфильтровать научные организации
выложены с согласия правообладателей) • Скайхаб sci-hub.se/ (65.5 млн. научных статей, недавно выложили базу в открытый доступ, ~60терабайт) • Академия Гугл scholar.google.ru • ...
Российская национальная библиотека (РНБ, Санкт-Петербург) • Библиотека Конгресса США • ... • Все книги мира (фонд РГБ ~17 млн, всего книг по оценке инженеров Гугл ~120млн) • Оцифрована малая часть • Еще меньше в открытом доступе
всех новых книг направляются в РГБ, РНБ (и еще несколько организаций) • Старые бумажные книги оцифровываются по программе оцифровки • Доступны в читальных залах на спец компьютерах или через интернет через специальный плагин • Электронные книги могут продаваться в книжных онлайн- магазинах • Старые произведения (классика, автор раньше, чем 70 лет назад) могут быть выложены в открытый доступ (общественное достояние)
хранения, • из них 300 тысяч редких книг и 500 тысяч рукописей. • Оцифровано около миллиона изданий, • из них 150 тысяч — это рукописи и редкие книги. • После вступления в силу поправок к Гражданскому кодексу РГБ запланировала оцифровать 50 тысяч изданий, по тысяче книг в месяц.
• В 2014-м портал НЭБ объединил ресурсы шести федеральных и 27 региональных библиотек. • Также в 2014 году были оцифрованы около 10 тысяч книг. • Сейчас на сайте НЭБ доступны около 1 миллиона 700 тысяч книг. (начало 2015)
научных статей, можно скачать базу на торентах) • Скайхаб sci-hub.se • Рутрекер rutracker.org • Буктрекер booktracker.org • … • [домены после точки могут со временем меняться]
hitech.newsru.com/article/11dec2018/ec_report www.kommersant.ru/doc/3826739 • См список ресурсов в отчете: trade.ec.europa.eu/doclib/docs/2018/december/ tradoc_157564.pdf
Некоторые книги (которые могут находиться в библиотеке) представляют собой подборки архивных документов • Цифровая история • В открытом доступе обращаются продукты вторичной и n- ричной переработки фактов, которые можно проверить в архивах • Оцифрованные архивы: ссылка на источник => конец дискуссии
17.03.2016). • Применяется контекстный и объектный поиск по 30 000 объектов: компаний, персон и брендов. • При обработке сообщений оценивается позитив/негатив, влиятельность СМИ, наличие прямой речи, главная или второстепенная роль и другие показатели. • Доступен количественный и качественный анализ данных в графическом виде.
СМИ, информацию официальных учреждений, адресно- справочные базы данных, законодательство, каталоги промышленной продукции, статистическую информацию, библиотеку мировой литературы и др. • Применяется контекстный поиск при помощи собственной поисковой системы «Артефакт». • Доступен анализ количества публикаций по категориям СМИ.
• Можно скачивать отдельные страницы номера целиком в pdf • Страницы оцифрованы в картинки • Полнотекстовый поиск (слой OCR) если и есть, то не для всего
building a digital library of Internet sites and other cultural artifacts in digital form. Our mission is to provide Universal Access to All Knowledge. • 330 billion web pages • 20 million books and texts • 4.5 million audio recordings (including 180,000 live concerts) • 4 million videos (including 1.6 million Television News programs) • 3 million images • 200,000 software programs
корпус современного русского языка общим объемом более 600 млн слов. • Корпус русского языка — это информационно-справочная система, основанная на собрании русских текстов в электронной форме. • Развивается и пополняется профессиональными исследователями, энтузиастами • Хостит Яндекс — на общественных началах
между словами, основываясь на контекстной близости этих слов. • Обучается на больших массивах текстов • Реализация на Python: radimrehurek.com/gensim/models/word2vec.html • Обученная модель для русского языка (обучена на Википедии и Национальном корпусе русского языка): rusvectores.org/ru/# github.com/akutuzov/webvectors/blob/master/preprocessing/rusvectores _tutorial.ipynb
словами, основываясь на контекстной близости этих слов. • Обучается на больших массивах текстов • Реализация на Python: radimrehurek.com/gensim/models/word2vec.html • Обученная модель для русского языка (обучена на Википедии и Национальном корпусе русского языка): rusvectores.org/ru/# github.com/akutuzov/webvectors/blob/master/preprocessing/rusvectores _tutorial.ipynb
сервисы с отзывами и т. п.) — берите всё, что есть в интернете, современный интернет генерят пользователи • Копирайт распространяется на • Википедия (регулярно применяется: IBM Watson + Jeopardy, Rusvectores и т. п.) • Онлайн-библиотеки: libgen.io (~2.7 млн. книг, 58 млн. научных статей, можно скачать базу на торентах) • Научные статьи: Sci-Hub (65.5 млн. научных статей, недавно выложили базу в открытый доступ, ~60терабайт), КиберЛенинка (~1.5 млн научных статей — выложены легально) • Патенты, Архивы, ... • ...
современный интернет генерят пользователи • Копирайт регулирует распространение исходных произведений, но не запрещают вам использовать данные для создания производных продуктов • Персональные данные — отдельная история
• «Яндекс» запустил сервис Yandex Vision с технологиями компьютерного зрения для сторонних разработчиков: - определение лиц, - распознавание текста на картинках
округа США принял решение (pdf), что скрапинг публичных сайтов не противоречит закону CFAA (Computer Fraud and Abuse Act). • Суд не только легализовал эту практику, но запретил мешать конкурентам снимать информацию с вашего сайта в автоматическом режиме, если сайт является общедоступным. • Суд подтвердил понятную логику, что заход бота-скрапера юридически не отличается от захода браузера. • В обоих случаях «пользователь» запрашивает открытые данные — и что-то делает с ними на своей стороне. • Решение принято в ходе судебного процесса LinkedIn (принадлежит Microsoft) против небольшой компании по анализу данных под названием hiQ Labs.
изображений и видео www.si.edu/openaccess • Нотный архив старой музыки imslp.org/wiki/Main_Page • Коллекция бесплатных книг проект Гутенберг www.gutenberg.org/ • Парижские музеи сделали 60 тысяч исторических фото общественным достоянием habr.com/ru/news/t/486366/ • И т.п.
инфляция в США, инфляция в России (порталы открытых данных, numbeo.com, другие источники) • TF-IDF для корпуса законодательных актов • TF-IDF для корпуса художественных произведений • TF-IDF для корпуса научных публикаций • TF-IDF для корпуса текстов берестяных грамот • Word2vec на корпусе художественных произведений • Найти большую таблицу на Викиликс, провести разведочный анализ
занято людей больше — в производстве продуктов или в сфере услуг • Отчеты Центробанка о выводе капитала (кто куда выводит, по каким статьям: проценты кредиты, импорт, дивиденды?) (если есть дивиденды, значит были и инвестиции) • Отчет МВФ: в каких валютах страны держат резервы (найти отчет, проверить, есть ли исходники, провести разведочный анализ) • Отчет SWIFT: доля иностранных валют в международных расчетах (найти отчет, проверить, есть ли исходники, провести разведочный анализ) • Отчет ЦБ РФ: Обзоры деятельности Банка России по управлению активами в иностранной валюте и золоте (найти отчет, проверить, есть ли исходники, провести разведочный анализ) • Отчет МВФ: ВВП по странам (найти данные, проверить, есть ли исходники, видно ли структуру, доля реального и фиктивного капитала, провести разведочный анализ)
Money and Markets in One Visualization) money.visualcapitalist.com/worlds-money- markets-one-visualization-2017/ (проверить данные — отдельные позиции по источникам)
sadr0b0t
yuyakurodou
signer
nbkouhou
matleenalaakso
bernhardsvt
cbtlibrary
herumi
irocho
tetsuyaooooo
lynnandtonic
denniskardys
speakerdeck
deanohume
pedronauck
csswizardry
mojombo
nonsquared
pauljervisheath
matthewcrist
danielanewman
rocio
![Интегрум • ru.wikipedia.org/wiki/Интегрум • База данных: 27 000[6] источников, включая](https://files.speakerdeck.com/presentations/34742e11f40a4b08bf9761c4aa9b9427/slide_52.jpg){kind=link}
