Стэк для машинного обучения на исходном коде

Вадим Марковцев (Lead Engineer, Machine Learning at Sourced.Tech) @ Moscow Python Meetup 55

"Машинное обучение на исходном коде (MLoSC) - новая и интересная область исследований, которая расположена на пересечении глубокого обучения, майнинга, работы с естественными языками, социальных наук и программирования. Мы накопили петабайты исходников и историей разработки в открытом доступе, и в то же время было предпринято очень мало попыток использовать весь невероятный человеческий опыт, который в них заключен. Доклад делает обзор текущего состояния дел в MLoSC и рассказывает о доступных инструментах на Python и некоторых примерах их использования, таких как "глубокое" предсказание кода и структурные эмбеддинги для масштабируемой дедупликации".

Видео: http://www.moscowpython.ru/meetup/55/ml-on-source-code/

Transcript

1. Стэк для машинного обучения на исходном коде Вадим Марковцев, source{d}
2. Machine learning on source code
3. Предпосылки  GitHub Машинное обучение хайп не думать Большие компании пишут кучу кода Пишем код так же как в 2000-х
4. twitter/mysql Tokutek/mysql-5.5 facebook/mysql-5.6 percona/percona-xtrabackup Tokutek/mariadb-5.5 percona/percona-server atcurtis/mariadb webscalesql/webscalesql-5.6 alibaba/AliSQL mysql/mysql-server Проекты, похожие на MariaDB/server?
6. Обнаружим похожий код • По стилю • По структуре • По именам И получим Глобальный граф  Лицензии  Рефакторинг
7. Еще пример: DeepCode.ai.
8. class foobar: def connecttoserver(self): myserverhost = globalconfig.server.host
9. class FooBar: def connect_to_server(self): myServerHost = globalConfig.server.host
10. • Предсказание имен классов, функций, переменных • Предсказание типов • Какие комментарии бессмысленны? • Какие комментарии прикольные?
11. Ваш код это место преступления • Идея: майнить историю разработки • Книга • codescene.io
13. Стэк для MLonCode
14. clone discover classify checkout filter parse analyze
15. Откуда брать данные • GHTorrent - все кроме самих репозиториев, 70GB • Public Git Archive - репозитории, 3TB • GitHub в Google BigQuery • rovers & borges - DIY
16. PGA • 270к siva файлов • Индекс в CSV Подробно в статье.
17. PGA индекс • URL • FILE_COUNT • LANGS (байты, строки, файлы) • COMMITS_[HEAD]_COUNT • BRANCHES_COUNT • LINES_COUNT (пустые, комментарии, код) • LICENSE
18. source{d} engine • Чтение siva для Spark • Классификация и парсинг • Открытый код - лицензия Apache • GitHub
19. source{d} engine >>> from sourced.engine import Engine >>> engine = Engine(spark, "/path/to/siva/files", "siva") >>> engine.repositories.references.head_ref \ .commits.tree_entries.blobs \ .classify_languages() \ .select("blob_id", "path", "lang") \ .show()
20. Как парсить • Регулярки - Pygments, highlight.js • Абстрактное синтаксическое дерево (AST) - ANTLR • Компиляция
22.  Universal AST • Более-менее одинаковая структура • Более-менее стандартные роли узлов • Прикидывается XML (XPath запросы) • 4 варианта обхода dashboard.bblf.sh
23. Клиент для Питона pip3 install bblfsh python3 -m bblfsh -f /path/to/file bblfsh/client-python 01. 02.
24. Интеграция >>> engine.repositories.references.head_ref \ .commits.tree_entries.blobs \ .classify_languages() \ .filter('lang = "Python"') \ .extract_uasts() \ .query_uast('//*[@roleIdentifier]') \ .extract_tokens("result", "tokens") \ .select("blob_id", "path", "tokens")
26. Мощь
27. sourced-ml • GitHub • Python 3.4+ • Используется Tensorflow, humanize • clint tqdm
28. Хотелки  Автозагрузка моделей из интернета  "Магазин моделей"  Вменяемый, современный формат (не HDF5)  Версионирование  Воспроизводимость  Поддержка разных ЯП
29. Modelforge  Автозагрузка моделей из интернета  "Магазин моделей"  Вменяемый, современный формат - ASDF  Версионирование  Воспроизводимость  Поддержка разных ЯП GitHub
30. Итог  Машинное обучение на исходном коде - это интересно  Есть данные  Есть инструменты
31. Конец Контакты:  vadim@sourced.tech  tmarkhor  vmarkovtsev  blog.sourced.tech  Awesome #MLonCode