Testing AI Systems: Quality Characteristics and Cognitive Biases

Testing AI Systems: Quality Characteristics and Cognitive Biases (IT)

Anna-Maria Lukina
Marketing Director, Exactpro

QA Financial Forum
29 January 2020, Milan

To learn more about Exactpro, visit our website https://exactpro.com/

Follow us on
LinkedIn https://www.linkedin.com/company/exactpro-systems-llc
Twitter https://twitter.com/exactpro
Facebook https://www.facebook.com/exactpro/
Instagram https://www.instagram.com/exactpro/

Subscribe to Exactpro Vimeo channel https://vimeo.com/exactpro
Subscribe to Exactpro YouTube channel https://www.youtube.com/c/exactprosystems

Transcript

1. Testing dei Sistemi AI: Caratteristiche qualitative e bias cognitivi Anna-Maria Lukina, Direttore di Marketing, Exactpro
2. Chi siamo • L’Exactpro è una società specializzata nel testing funzionale e non funzionale per i sistemi di Borse, Clearing Houses, banche, trade repositories, broker, CSD, aziende tecnologiche e altre società finanziarie in tutto il mondo. • Essendo stata fondata il 9 Settembre 2009 con 10 dipendenti, oggi impiega oltre 540 professionisti. • L’Exactpro ha fatto parte del Gruppo London Stock Exchange (LSEG) dal maggio 2015 fino al gennaio 2018. Dopo di che la direzione dell’ Exactpro ha acquisito L’Exactpro da LSEG in gennaio 2018. La sede centrale si trova a Londra, altri uffici sono negli Stati Uniti, in Georgia e in Russia.
3. Nostri clienti
4. Sistemi basati sull'intelligenza artificiale nel settore finanziario L'apprendimento Automatico nelle strutture finanziarie: - Ha già superato il primo step di sviluppo - Utilizzo dell’apprendimento automatico aumenterà notevolmente nei prossimi 3 anni https://www.bankofengland.co.uk/-/media/boe/files/report /2019/machine-learning-in-uk-financial-services.pdf
5. - Sistemi di Sorveglianza del mercato - Chatbot - Sistemi di trading algoritmici - Calcolatore dei prezzi - Notizie Leggibili dalla Macchina (Machine-Readable News) - Richiesta di indennizzo assicurativo (Insurance Claims) Sistemi basati sull'intelligenza artificiale nel settore finanziario L'apprendimento Automatico nelle strutture finanziarie: - Ha già superato il primo step di sviluppo - Utilizzo dell’apprendimento automatico aumenterà notevolmente nei prossimi 3 anni https://www.bankofengland.co.uk/-/media/boe/files/report /2019/machine-learning-in-uk-financial-services.pdf
6. Le caratteristiche qualitative dei sistemi AI - Capacità di apprendimento : La capacità del sistema di apprendere durante il suo funzionamento o in base a eventi accaduti e dati in entrata. - Capacità di generalizzare: la capacità di un sistema di lavorare con vari scenari imprevisti - Affidabilità: il grado di fiducia dalla parte del proprietario del sistema nei confronti di esso A4Q AI and Software Testing Foundation Syllabus https://www.gasq.org/en/exam-modules/a4q-ai-and-software-testing.html Testing di “Intelligenza” della vostra AI
7. Abilità di apprendere https://www.deeplearning.ai/ • Training set — dove si avvia l’algoritmo di apprendimento • Development set — dove si impostano paramenti e si prendono altre decisioni riguardanti l’algoritmo di apprendimento. A volte chiamato anche hold-out cross validation set. • Test set — dove si valuta la performance dell’algoritmo senza prendere nessuna decisione circa l’algoritmo di apprendimento e i suoi paramenti.
8. Affidabilità https://innovation.defense.gov/ai/ During the DIB’s quarterly public meeting on October 31, 2019, the DIB members voted to approve the proposed AI Principles.
9. https://www.mas.gov.sg/news/media-releases/2019/mas-partners-financial-industry-to-creat e-framework-for-responsible-use-of-ai Affidabilità
10. Abilità di generalizzare: area di Testing End-to-End e Testing Negativo
11. Bias di congruenza Bias di conferma La legge sulla trivialità Bias rischio zero Bias antropocentrico Illusione del controllo I bias cognitivi influenzano il testing di software di sistemi AI Bias di automazione
12. Sistemi basati sull'Intelligenza Artificiale: Notizie Leggibili dalla Macchina (Machine-Readable News)
13. Bias di conferma ...Jackpot! Ho sentito la situazione da entrambe le parti…adesso c’è da fare la mia ricerca personale sulla verità... Praticamente il primo link che coincide con l’opinione che hai già.. adesso c’è da fare la mia ricerca personale sulla verità... Sostiene completamente il tuo punto di vista senza nessuna contraddizione Found 80,000 results Another Link
14. Salman, I. (2016). Cognitive biases in software quality and testing. Proceedings of the 38th International Conference on Software Engineering Companion - ICSE ’16. Pp. 823-826.
15. Mohanani, R., Salman, I., Turhan, B., Rodríguez, P., & Ralph, P. (2018). Cognitive Biases in Software Engineering: A Systematic Mapping Study. IEEE Transactions on Software Engineering
16. Sistemi basati sull'Intelligenza Artificiale: Chatbots Chatbot
17. Bias Antropocentrico Non dovremmo umanizzare il computer
18. Non gli piace molto! Bias Antropocentrico
19. Bias Antropocentrico: Il testing del Robot Sminatore
20. Bias Antropocentrico: Perché trattiamo un robot come se fosse un essere umano? Darling, Kate and Nandy, Palash and Breazeal, Cynthia “Empathic Concern and the Effect of Stories in Human-Robot Interaction” (2015). Proceedings of the IEEE International Workshop on Robot and Human Communication (ROMAN), 2015. 6 p. https://www.ted.com/talks/kate_darling_why_we_have_an_emotional_conne ction_to_robots
21. Bias Antropocentrico: Il Testing di Chatbot Relazioni anaforiche Utente: Ho comprato 500 azioni di una Società due anni fa. I titoli azionari sono costati € 60,000. Che prezzo hanno oggi? Chatbot: Che valuta vuole avere al cambio di oggi? X Spelling / Correttezza della scrittura Utente: Qual e’ la data di tradeId XXX?? Chatbot: ???
22. I sistemi AI: I sistemi di Trading Algoritmici
23. Bias di Congruenza Testing Diretto Testing Indiretto Testing Indiretto
24. Metodi di Testing Indiretti Estrazione dell’informazione e l’apprendimento automatico Biblioteca di End-to-End testing automatizzato Whatever it takes! Dati in uscita dopo il test e analisi dei log Il Testing passivo Ad ogni costo!
25. Uso dell’approcio proposto https://unsplash.com/search/photos/san-francisco The First IEEE International Conference on Artificial Intelligence Testing (IEEE AITest 2019), April 4-9 2019, San Francisco East Bay, CA, USA User-Assisted Log Analysis for Quality Control of Distributed Fintech Systems Iosif Itkin, Anna Gromova, Anton Sitnikov, Rostislav Yavorskiy, Evgenii Tsymbalov, Andrey Novikov and Kirill Rudakov.
26. Legge sulla trivialità (Effetto delle rimessa per le biciclette)
27. Bias di automazione
28. Sistemi basati sull’AI: Sorveglianza del mercato e Identificazione delle truffe
29. Build Software to Test Software Click to know more about Exactpro Test Tools
30. Sistemi basati sull’AI: Richiesta di indennizzo assicurativo (Insurance Claims)
31. Bias Rischio Zero
32. Sistemi non deterministici: Infrastruttura del Mercato Finanziario
33. Illusione di controllo e di felicità Sherman, G. D., Lee, J. J., Cuddy, A. J. C., Renshon, J., Oveis, C., Gross, J. J., & Lerner, J. S. (2012). Leadership is associated with lower levels of stress. Proceedings of the National Academy of Sciences, 109(44), 17903–17907.
34. Fenton-O’Creevy, M., Nicholson, N., Soane, E., & Willman, P. (2003). “Trading on illusions: Unrealistic perceptions of control and trading performance”. Journal of Occupational and Organizational Psychology, 76(1), 53–68. Illusione di controllo e di performance
35. Grazie