Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Testing AI Systems: Quality Characteristics and Cognitive Biases

Testing AI Systems: Quality Characteristics and Cognitive Biases

Testing AI Systems: Quality Characteristics and Cognitive Biases (IT)

Anna-Maria Lukina
Marketing Director, Exactpro

QA Financial Forum
29 January 2020, Milan

To learn more about Exactpro, visit our website https://exactpro.com/

Follow us on
LinkedIn https://www.linkedin.com/company/exactpro-systems-llc
Twitter https://twitter.com/exactpro
Facebook https://www.facebook.com/exactpro/
Instagram https://www.instagram.com/exactpro/

Subscribe to Exactpro Vimeo channel https://vimeo.com/exactpro
Subscribe to Exactpro YouTube channel https://www.youtube.com/c/exactprosystems

5206c19df417b8876825b5561344c1a0?s=128

Exactpro
PRO

January 29, 2020
Tweet

Transcript

  1. Testing dei Sistemi AI: Caratteristiche qualitative e bias cognitivi Anna-Maria

    Lukina, Direttore di Marketing, Exactpro
  2. Chi siamo • L’Exactpro è una società specializzata nel testing

    funzionale e non funzionale per i sistemi di Borse, Clearing Houses, banche, trade repositories, broker, CSD, aziende tecnologiche e altre società finanziarie in tutto il mondo. • Essendo stata fondata il 9 Settembre 2009 con 10 dipendenti, oggi impiega oltre 540 professionisti. • L’Exactpro ha fatto parte del Gruppo London Stock Exchange (LSEG) dal maggio 2015 fino al gennaio 2018. Dopo di che la direzione dell’ Exactpro ha acquisito L’Exactpro da LSEG in gennaio 2018. La sede centrale si trova a Londra, altri uffici sono negli Stati Uniti, in Georgia e in Russia.
  3. Nostri clienti

  4. Sistemi basati sull'intelligenza artificiale nel settore finanziario L'apprendimento Automatico nelle

    strutture finanziarie: - Ha già superato il primo step di sviluppo - Utilizzo dell’apprendimento automatico aumenterà notevolmente nei prossimi 3 anni https://www.bankofengland.co.uk/-/media/boe/files/report /2019/machine-learning-in-uk-financial-services.pdf
  5. - Sistemi di Sorveglianza del mercato - Chatbot - Sistemi

    di trading algoritmici - Calcolatore dei prezzi - Notizie Leggibili dalla Macchina (Machine-Readable News) - Richiesta di indennizzo assicurativo (Insurance Claims) Sistemi basati sull'intelligenza artificiale nel settore finanziario L'apprendimento Automatico nelle strutture finanziarie: - Ha già superato il primo step di sviluppo - Utilizzo dell’apprendimento automatico aumenterà notevolmente nei prossimi 3 anni https://www.bankofengland.co.uk/-/media/boe/files/report /2019/machine-learning-in-uk-financial-services.pdf
  6. Le caratteristiche qualitative dei sistemi AI - Capacità di apprendimento

    : La capacità del sistema di apprendere durante il suo funzionamento o in base a eventi accaduti e dati in entrata. - Capacità di generalizzare: la capacità di un sistema di lavorare con vari scenari imprevisti - Affidabilità: il grado di fiducia dalla parte del proprietario del sistema nei confronti di esso A4Q AI and Software Testing Foundation Syllabus https://www.gasq.org/en/exam-modules/a4q-ai-and-software-testing.html Testing di “Intelligenza” della vostra AI
  7. Abilità di apprendere https://www.deeplearning.ai/ • Training set — dove si

    avvia l’algoritmo di apprendimento • Development set — dove si impostano paramenti e si prendono altre decisioni riguardanti l’algoritmo di apprendimento. A volte chiamato anche hold-out cross validation set. • Test set — dove si valuta la performance dell’algoritmo senza prendere nessuna decisione circa l’algoritmo di apprendimento e i suoi paramenti.
  8. Affidabilità https://innovation.defense.gov/ai/ During the DIB’s quarterly public meeting on October

    31, 2019, the DIB members voted to approve the proposed AI Principles.
  9. https://www.mas.gov.sg/news/media-releases/2019/mas-partners-financial-industry-to-creat e-framework-for-responsible-use-of-ai Affidabilità

  10. Abilità di generalizzare: area di Testing End-to-End e Testing Negativo

  11. Bias di congruenza Bias di conferma La legge sulla trivialità

    Bias rischio zero Bias antropocentrico Illusione del controllo I bias cognitivi influenzano il testing di software di sistemi AI Bias di automazione
  12. Sistemi basati sull'Intelligenza Artificiale: Notizie Leggibili dalla Macchina (Machine-Readable News)

  13. Bias di conferma ...Jackpot! Ho sentito la situazione da entrambe

    le parti…adesso c’è da fare la mia ricerca personale sulla verità... Praticamente il primo link che coincide con l’opinione che hai già.. adesso c’è da fare la mia ricerca personale sulla verità... Sostiene completamente il tuo punto di vista senza nessuna contraddizione Found 80,000 results Another Link
  14. Salman, I. (2016). Cognitive biases in software quality and testing.

    Proceedings of the 38th International Conference on Software Engineering Companion - ICSE ’16. Pp. 823-826.
  15. Mohanani, R., Salman, I., Turhan, B., Rodríguez, P., & Ralph,

    P. (2018). Cognitive Biases in Software Engineering: A Systematic Mapping Study. IEEE Transactions on Software Engineering
  16. Sistemi basati sull'Intelligenza Artificiale: Chatbots Chatbot

  17. Bias Antropocentrico Non dovremmo umanizzare il computer

  18. Non gli piace molto! Bias Antropocentrico

  19. Bias Antropocentrico: Il testing del Robot Sminatore

  20. Bias Antropocentrico: Perché trattiamo un robot come se fosse un

    essere umano? Darling, Kate and Nandy, Palash and Breazeal, Cynthia “Empathic Concern and the Effect of Stories in Human-Robot Interaction” (2015). Proceedings of the IEEE International Workshop on Robot and Human Communication (ROMAN), 2015. 6 p. https://www.ted.com/talks/kate_darling_why_we_have_an_emotional_conne ction_to_robots
  21. Bias Antropocentrico: Il Testing di Chatbot Relazioni anaforiche Utente: Ho

    comprato 500 azioni di una Società due anni fa. I titoli azionari sono costati € 60,000. Che prezzo hanno oggi? Chatbot: Che valuta vuole avere al cambio di oggi? X Spelling / Correttezza della scrittura Utente: Qual e’ la data di tradeId XXX?? Chatbot: ???
  22. I sistemi AI: I sistemi di Trading Algoritmici

  23. Bias di Congruenza Testing Diretto Testing Indiretto Testing Indiretto

  24. Metodi di Testing Indiretti Estrazione dell’informazione e l’apprendimento automatico Biblioteca

    di End-to-End testing automatizzato Whatever it takes! Dati in uscita dopo il test e analisi dei log Il Testing passivo Ad ogni costo!
  25. Uso dell’approcio proposto https://unsplash.com/search/photos/san-francisco The First IEEE International Conference on

    Artificial Intelligence Testing (IEEE AITest 2019), April 4-9 2019, San Francisco East Bay, CA, USA User-Assisted Log Analysis for Quality Control of Distributed Fintech Systems Iosif Itkin, Anna Gromova, Anton Sitnikov, Rostislav Yavorskiy, Evgenii Tsymbalov, Andrey Novikov and Kirill Rudakov.
  26. Legge sulla trivialità (Effetto delle rimessa per le biciclette)

  27. Bias di automazione

  28. Sistemi basati sull’AI: Sorveglianza del mercato e Identificazione delle truffe

  29. Build Software to Test Software Click to know more about

    Exactpro Test Tools
  30. Sistemi basati sull’AI: Richiesta di indennizzo assicurativo (Insurance Claims)

  31. Bias Rischio Zero

  32. Sistemi non deterministici: Infrastruttura del Mercato Finanziario

  33. Illusione di controllo e di felicità Sherman, G. D., Lee,

    J. J., Cuddy, A. J. C., Renshon, J., Oveis, C., Gross, J. J., & Lerner, J. S. (2012). Leadership is associated with lower levels of stress. Proceedings of the National Academy of Sciences, 109(44), 17903–17907.
  34. Fenton-O’Creevy, M., Nicholson, N., Soane, E., & Willman, P. (2003).

    “Trading on illusions: Unrealistic perceptions of control and trading performance”. Journal of Occupational and Organizational Psychology, 76(1), 53–68. Illusione di controllo e di performance
  35. Grazie