Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Можно я тут API чуть-чуть поменяю?… Дмитрий Цителов, Devexperts, CEE-SECR 2017

CEE-SECR
October 21, 2017

Можно я тут API чуть-чуть поменяю?… Дмитрий Цителов, Devexperts, CEE-SECR 2017

Поддержка и развитие API общих библиотек — сложная задача. Сколько проектов сломается, если убрать этот метод? Использует ли кто-то этот параметр? Произвести такой анализ непросто. Для ответа на эти вопросы был разработан инструмент, который сканирует Maven репозитории и анализирует артефакты в них. В докладе обсудим как эффективно организовать сканирование, как устроен сам анализ зависимостей и как пользоваться данным инструментом с помощью плагина для IntelliJ IDEA.

CEE-SECR

October 21, 2017
Tweet

More Decks by CEE-SECR

Other Decks in Technology

Transcript

  1. Можно я тут API чуть-чуть поменяю?… Дмитрий Цителов Октябрь, 2017

  2. Slide 2/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    О себе Руководитель исследовательской лаборатории dxLab, Devexperts dxLab: - Многопоточные алгоритмы - Методы верификации многопоточных программ - Инструменты анализа программ
  3. Slide 3/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    “The secret to building large apps is never build large apps. Break your applications into small pieces. Then, assemble those testable, bite-sized pieces into your big application.” — Justin Meyer “Programming is like sex: one mistake and you have to support it for the rest of your life.” — Michael Sinz “I've finally learned what "upward compatible" means. It means we get to keep all our old mistakes.” — Dennie Van Tassel
  4. Slide 4/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    “The secret to building large apps is never build large apps. Break your applications into small pieces. Then, assemble those testable, bite-sized pieces into your big application.” — Justin Meyer “Programming is like sex: one mistake and you have to support it for the rest of your life.” — Michael Sinz “I've finally learned what "upward compatible" means. It means we get to keep all our old mistakes.” — Dennie Van Tassel
  5. Slide 5/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    “The secret to building large apps is never build large apps. Break your applications into small pieces. Then, assemble those testable, bite-sized pieces into your big application.” — Justin Meyer “Programming is like sex: one mistake and you have to support it for the rest of your life.” — Michael Sinz “I've finally learned what "upward compatible" means. It means we get to keep all our old mistakes.” — Dennie Van Tassel
  6. Slide 6/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Модули и интерфейсы
  7. Slide 7/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Разрабатываем библиотеки и пакеты • Хорошее API - залог успеха - Логичная и удобная модель данных - Понятная и консистентная схема именования - Продуманные сценарии использования и расширения - Модульная архитектура - Стратегия развития и обеспечения обратной совместимости • Документация - Чётко описанная модель и контракты - Документация изменений • Сопровождение - Логичная политика версионирования, «дорожные карты» - Коммуникация с пользователями
  8. Slide 8/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Разрабатываем библиотеки и пакеты • Хорошее API - залог успеха - Логичная и удобная модель данных - Понятная и консистентная схема именования - Продуманные сценарии использования и расширения - Модульная архитектура - Стратегия развития и обеспечения обратной совместимости • Документация - Чётко описанная модель и контракты - Документация изменений • Сопровождение - Логичная политика версионирования, «дорожные карты» - Коммуникация с пользователями
  9. Slide 9/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Разрабатываем библиотеки и пакеты • Хорошее API - залог успеха - Логичная и удобная модель данных - Понятная и консистентная схема именования - Продуманные сценарии использования и расширения - Модульная архитектура - Стратегия развития и обеспечения обратной совместимости • Документация - Чётко описанная модель и контракты - Документация изменений • Сопровождение - Логичная политика версионирования, «дорожные карты» - Коммуникация с пользователями
  10. Slide 10/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Проблемы поддержки общего API • Больше пользователей - больше изменений (разнонаправленных) • Нарастает энтропия, архитектура “плывёт” - Разрастаются списки параметров - Появляются сложные скрытые протоколы Нужно что-то делать…
  11. Slide 11/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Проблемы поддержки общего API • Больше пользователей - больше изменений (разнонаправленных) • Нарастает энтропия, архитектура “плывёт” - Разрастаются списки параметров - Появляются сложные скрытые протоколы Нужно что-то делать… О! Рефакторинг!
  12. Slide 12/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Проблемы поддержки общего API • Больше пользователей - больше изменений (разнонаправленных) • Нарастает энтропия, архитектура “плывёт” - Разрастаются списки параметров - Появляются сложные скрытые протоколы Нужно что-то делать… О! Рефакторинг! API хочется менять!
  13. Slide 13/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Проблемы поддержки общего API • Больше пользователей - больше изменений (разнонаправленных) • Нарастает энтропия, архитектура “плывёт” - Разрастаются списки параметров - Появляются сложные скрытые протоколы Нужно что-то делать… О! Рефакторинг! API хочется менять! … А как же обратная совместимость?
  14. Slide 14/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Эволюция API и обратная совместимость “Что написано пером, того не вырубишь топором” - Параллельно строим новый мир - Старое → @deprecated и ждём - Объём поддерживаемого кода непрерывно растёт
  15. Slide 15/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Эволюция API и обратная совместимость “Что написано пером, того не вырубишь топором” - Параллельно строим новый мир - Старое → @deprecated и ждём - Объём поддерживаемого кода непрерывно растёт “Кто не спрятался - я не виноват” - Всё равно придётся поддерживать старые версии - … или после пары итераций пользователи разбегутся
  16. Slide 16/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Управление изменениями API В идеале: - Сбор информации о текущих сценариях использования - Анализ потенциального воздействия на пользователей - Планирование изменений - Обсуждение планов с пользователями - Реализация
  17. Slide 17/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Управление изменениями API Практика: - Кто использует - ? - Как использует - ?×? - Оценка воздействия - ???
  18. Slide 18/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Управление изменениями API Практика: - Кто использует - ? - Как использует - ?×? - Оценка воздействия - ??? … И что делать? И что делать?
  19. Slide 19/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Управление изменениями API Сбор общей информации - Устраиваем опрос пользователей - Анализируем историю баг-трекера
  20. Slide 20/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Управление изменениями API Сбор общей информации - Устраиваем опрос пользователей - Анализируем историю баг-трекера … всё очень приблизительно
  21. Slide 21/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Управление изменениями API Сбор общей информации - Устраиваем опрос пользователей - Анализируем историю баг-трекера … всё очень приблизительно - Внутренний API - есть доступ к общей базе кода
  22. Slide 22/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Управление изменениями API Сбор общей информации - Устраиваем опрос пользователей - Анализируем историю баг-трекера … всё очень приблизительно - Внутренний API - есть доступ к общей базе кода … но как её анализировать?
  23. Slide 23/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Анализ API - инструменты • IDEs, JArchitect, Structure101, Upsource - точно, но в пределах проекта • jdeps, CDA, JDepend, ... - в пределах набора jar-файлов - зависимости с точностью до классов
  24. Slide 24/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Анализ API - инструменты • IDEs, JArchitect, Structure101, Upsource - точно, но в пределах проекта • jdeps, CDA, JDepend, ... - в пределах набора jar-файлов - зависимости с точностью до классов Существующим инструментам не достаёт охвата!
  25. Slide 25/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Анализ API – чего хотим? • Искать использования API - Контекстно (как) в IDE - Во всех доступных проектах • С учётом информации о версиях
  26. Slide 26/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Анализ API – чего хотим? • Искать использования API - Контекстно (как) в IDE - Во всех доступных проектах • С учётом информации о версиях Спасение утопающих… - LinkedIn - сделал JARVIS (для себя) - JetBrains - тоже что-то сделал …
  27. Slide 27/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Анализ API – чего хотим? • Искать использования API - Контекстно (как) в IDE - Во всех доступных проектах • С учётом информации о версиях Спасение утопающих… - LinkedIn - сделал JARVIS (для себя) - JetBrains - тоже что-то сделал … … дело рук самих утопающих
  28. USAGES dxLab presents…

  29. Slide 29/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Usages В двух словах: - Поиск зависимостей над Maven хранилищем кода - Не зависит от исходного языка* - Учитывает версии анализируемых артефактов - Интегрирован с Intellij IDEA * Анализ не зависит, IDEA plugin пока поддерживает только Java
  30. Slide 30/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Настройка плагина
  31. Slide 31/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Настройка плагина Сервер Где искать исходный код
  32. Slide 32/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Настраиваем поиск
  33. Slide 33/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Настраиваем поиск Уровень детализации Где искать
  34. Slide 34/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Результат
  35. Slide 35/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Результат Что ищем
  36. Slide 36/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Результат Где нашли
  37. Slide 37/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Результат Детали * Сопоставление с исходным кодом будет позже
  38. Slide 38/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Как всё устроено?
  39. Slide 39/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Сканирование Maven репозиториев • Нельзя просто так взять, и просканировать Maven репозиторий - Нет универсального API - Nexus, Artifactory, Bintray - у каждого всё своё!* • Nexus repository manager - REST API - Lucene индексы • Артефакты с maven-координатами • Список файлов в каждом артефакте * Текущая версия поддерживает только Nexus
  40. Slide 40/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Алгоритм выполнения запроса 1. Определяем в каких артефактах может быть искомый элемент* - Знаем, какие пакеты содержатся в артефакте 2. Находим их зависимости - Анализируем pom-файлы при сканировании 3. Составляем список всех возможных использований - Используем ASM для анализа байт-кода - Все результаты анализа записываются в индексное хранилище 4. Отдаем клиенту запрошенные данные - С точностью до номера строки кода (если есть) или метода * А еще смотрим на потомков классов, если нужно
  41. Slide 41/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Перспективы • Статистические отчёты • Сравнение версий API • Поддержка модулей Java 9+ • Поддержка Artifactory, … • Анализ значений параметров (data-flow analysis) • Обнаружение несовместимостей при сборке • Анализ зависимостей с учётом истории изменений - Например, чтобы определить степень готовности проектов к переходу - … или провести анализ изменения API со временем
  42. Slide 42/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Где взять? https://code.devexperts.com/display/USAGES https://github.com/Devexperts/usages
  43. Slide 43/43. Copyright © 2017. Devexperts LLC. All rights reserved.

    Где взять? https://code.devexperts.com/display/USAGES https://github.com/Devexperts/usages
  44. Спасибо за внимание! Дмитрий Цителов [email protected] https://www.linkedin.com/in/dmitrytsitelov