Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Лекция 8 - Небрежность в отношении программного обеспечения и покрытие для тестирования

Лекция 8 - Небрежность в отношении программного обеспечения и покрытие для тестирования

Курс лекций «Тестирование сложных интеллектуальных систем и беспилотных автомобилей» знакомит вас с теоретическими основами тестирования автономных ИИ-систем.

Видео лекция доступна по ссылке: https://youtu.be/YRRwSGVfcWw

---
Подписывайтесь на Exactpro в социальных сетях:

LinkedIn https://www.linkedin.com/company/exactpro-systems-llc
Twitter https://twitter.com/exactpro
Facebook https://www.facebook.com/exactpro/
Instagram https://www.instagram.com/exactpro/

Подписывайтесь на YouTube канал Exactpro http://www.youtube.com/c/ExactproVlog

5206c19df417b8876825b5561344c1a0?s=128

Exactpro
PRO

April 23, 2021
Tweet

Transcript

  1. 1 Build Software to Test Software exactpro.com Лекция 8 Небрежность

    в отношении программного обеспечения и тестовое покрытие Онлайн-курс Тестирование сложных интеллектуальных систем и беспилотных автомобилей
  2. 2 Build Software to Test Software exactpro.com Структура лекции Понятия

    профессиональной некомпетентности и преступной халатности Вопрос об ответственности за последствия некорректной работы программного обеспечения Принцип невозможности исчерпывающего тестирования Тестовое покрытие. Типы тестового покрытия Связь покрытия и ответственности за последствия неисправности ПО
  3. 3 Build Software to Test Software exactpro.com Что почитать Cem

    Kaner Software Negligence and Testing Coverage SOFTWARE NEGLIGENCE AND TESTING COVERAGE Cem Kaner, kaner@kaner.com Copyright, 1995, all rights reserved. Portions of this paper were originally published in C. Kaner, “Software Negligence & Testing Coverage”, Software QA Quarterly, Vol. 2, #2, p. 18, 1995. 1 1
  4. 4 Build Software to Test Software exactpro.com Что почитать Iosif

    Itkin for FOW Assuring compliance with pending AI liability regulation
  5. 5 Build Software to Test Software exactpro.com Что почитать ISTQB

    Foundation Level Syllabus 2018
  6. 6 Build Software to Test Software exactpro.com Кем Канер: Пример

    кейса Cem Kaner Software Negligence and Testing Coverage
  7. 7 Build Software to Test Software exactpro.com Небрежность в отношении

    программного обеспечения MISREPRESENTATION
  8. 8 Build Software to Test Software exactpro.com Вопрос об ответственности

    за результаты тестирования программного обеспечения VS.
  9. 9 Build Software to Test Software exactpro.com Предметная область Область

    IT Область права
  10. 10 Build Software to Test Software exactpro.com Халатность / небрежность

    Намерение Адекватные меры Намерение Адекватные меры Профессиональный статус VS.
  11. 11 Build Software to Test Software exactpro.com Халатность / небрежность

    (Канер) Намерение Адекватные меры Намерение Адекватные меры Профессиональный статус VS.
  12. 12 Build Software to Test Software exactpro.com Халатность / небрежность

    (Канер) Намерение Адекватные меры Намерение Адекватные меры Профессиональный статус VS. Стандарт?
  13. 13 Build Software to Test Software exactpro.com Халатность / небрежность

    (Канер)
  14. 14 Build Software to Test Software exactpro.com Халатность / небрежность

    (Канер) Намерение Адекватные меры Намерение Адекватные меры Профессиональный статус VS. ??? ???
  15. 15 Build Software to Test Software exactpro.com Reasonable measures Cem

    Kaner Software Negligence and Testing Coverage Costs to prevent Cost of the error
  16. 16 Build Software to Test Software exactpro.com Reasonable measures Cem

    Kaner Software Negligence and Testing Coverage Cost of the error Costs to prevent + the cost of finding the bug “What would it have cost to make the testing process thorough enough that you would have found this bug during testing?”
  17. 17 Build Software to Test Software exactpro.com Тестовое покрытие

  18. 18 Build Software to Test Software exactpro.com Покрытие строк кода

    Line coverage measures the number / percentage of lines of code that have been executed Cem Kaner Software Negligence and Testing Coverage
  19. 19 Build Software to Test Software exactpro.com Black box testing

    vs. white box testing ISTQB Foundation Level Syllabus 2018
  20. 20 Build Software to Test Software exactpro.com Кем Канер: Приложение

    - Типы тестового покрытия “This appendix lists 101 coverage measures. Coverage measures the amount of testing done of a certain type. Because testing is done to find bugs, coverage is also a measure of your effort to detect a certain class of potential errors. For example, 100% line coverage doesn’t just mean that you’ve executed every line of code; it also means that you’ve tested for every bug that can be revealed by simple execution of a line of code.” Cem Kaner Software Negligence and Testing Coverage
  21. 21 Build Software to Test Software exactpro.com Тестовое покрытие: все

    поля в сообщении 8=FIXT1.1 | 9=90 | 35=D | 49=User1 | 56=FGW | 34=2 | 55=ACME | 54=1 | 40=2 | 38=40 | 59=0 | 44=100 | 11=ORD1 | 10=197 | Оценка тестового покрытия в финтех: протоколы и дискретные значения
  22. 22 Build Software to Test Software exactpro.com Тестовое покрытие: все

    события системы New Ack Working Fill Done Part Fill Canceled Expired Rejected Events: Requests: New/Amend/Cancel Market: Sessions/Trades Time: Triggers/Expiration Пример из лекции по 4 главе силлабуса ISTQB: Курс ISTQB Foundation | Test Design Techniques | часть 1
  23. 23 Build Software to Test Software exactpro.com (Rus) Mind the

    Gap. Applying Process Mining (Eng) Mind the Gap: Applying Process Mining https://focus.world-exchanges.org/articles/mind-gap-between-testing-and- production-applying-process-mining-test-resilience-exchange-platforms New (100) New (279) New (4784) END NEW Rejected Filled Expired Cancelled START New (38) Reject (3222) (3222) (100) (38) (279) (4784) Cancel (100) Cancel (38) Expired (279) Trade (4784) Trade (38) TradeCancel (38) Тестовое покрытие: все переходы между разными состояниями системы
  24. 24 Build Software to Test Software exactpro.com Тестовое покрытие: покрытие

    требований Оценка тестового покрытия в финтех: протоколы и дискретные значения
  25. 25 Build Software to Test Software exactpro.com Матрица покрытия: иллюзия

    исчерпывающего тестового покрытия Оценка тестового покрытия в финтех: протоколы и дискретные значения
  26. 26 Build Software to Test Software exactpro.com Тестовое покрытие: важность

    конкретных значений Fake Testing: "The Pentagon Wars" Film Review
  27. 27 Build Software to Test Software exactpro.com AV AI Test

    Challenge: покрытие симуляции http://av-test-challenge.org/
  28. 28 Build Software to Test Software exactpro.com https://www.svlsimulator.com/docs/python-api/python-api/#weather- and-time-of-day-control Тестовое

    покрытие: погода Weather: rain, fog, wetness, cloudiness
  29. 29 Build Software to Test Software exactpro.com LGSVL - Vehicle

    Dynamics Тестовое покрытие: параметры динамики автомобиля (EGO vehicle)
  30. 30 Build Software to Test Software exactpro.com https://www.svlsimulator.com/docs/python-api/python-api/#agents Тестовое покрытие:

    другие транспортные средства и пешеходы NPC vehicles: Sedan, SUV, Jeep, Hatchback, SchoolBus, BoxTruck Pedestrians: Bob, EntrepreneurFemale, Howard, Johny, Pamela, Presley, Red, Robin, Stephen, Zoe
  31. 31 Build Software to Test Software exactpro.com Покрытие и ответственность

  32. 32 Build Software to Test Software exactpro.com Exhaustive testing is

    impossible
  33. 33 Build Software to Test Software exactpro.com Другие правонарушения в

    области создания программного обеспечения </code> VS.
  34. 34 Build Software to Test Software exactpro.com Другие правонарушения в

    области создания программного обеспечения VS. MISREPRESENTATION
  35. 35 Build Software to Test Software exactpro.com Ответственность за программное

    обеспечение в системах искусственного интеллекта European Commission - Liability for Artificial Intelligence (2019) FCA and Bank of England - Machine learning in UK financial services (2019) US DoD - AI Principles: Recommendations on the Ethical Use of Artificial Intelligence (2019) US Whitehouse - Guidance for Regulation of Artificial Intelligence Applications (2019) FSB - Artificial intelligence and machine learning in financial services (2017) IOSCO - The use of artificial intelligence and machine learning by market intermediaries and asset managers (2020)
  36. 36 Build Software to Test Software exactpro.com Продукт vs. сервис

    Продукт Сервис
  37. 37 Build Software to Test Software exactpro.com AI - сервис

    - Существует обязанность по принятию адекватных мер для обеспечения качества - Обязанность нарушена - Нарушение - причина ущерба Сервис
  38. 38 Build Software to Test Software exactpro.com AI - продукт

    - Product liability - Strict liability Продукт Намерение Адекватные меры
  39. 39 Build Software to Test Software exactpro.com Ответственность за неисправность

    в AI - Negligence - Product liability - Strict liability - Misrepresentation https://spectrum.ieee.org/cars-that-think/transportation/self-driving/why- you-shouldnt-worry-about-liability-for-selfdriving-car-accidents
  40. 40 Build Software to Test Software exactpro.com Подача фактов Volvo

    XC90 Drive Me Autonomous (self-driving) car interface (IntelliSafe Autopilot)
  41. 41 Build Software to Test Software exactpro.com Подача фактов Elon

    Musk on Twitter - 17 April Tesla (TSLA) Texas Crash: Two Men Dead After Accident With 'No One' Driving - Bloomberg, 18 April
  42. 42 Build Software to Test Software exactpro.com Спасибо! Exactpro Systems

    Exactpro Vlog
  43. 43 Build Software to Test Software exactpro.com Further Reading Cem

    Kaner - Legal Issues Related to Software Quality (1997) John Villasenor - Products Liability and Driverless Cars: Issues and Guiding Principles for Legislation (2014) Karen Mercedes Goertzel - Legal Liability for Bad Software (2016) John Kingston - Artificial Intelligence and Legal Liability (2018) Miriam Buiten - Towards Intelligent Regulation of Artificial Intelligence (2019) Darrell M. West - It is time to restore the US Office of Technology Assessment (2021)