Testing dei Sistemi AI: Caratteristiche qualitative e bias cognitivi Anna-Maria Lukina, Direttore di Marketing, Exactpro

Chi siamo ● L’Exactpro è una società specializzata nel testing funzionale e non funzionale per i sistemi di Borse, Clearing Houses, banche, trade repositories, broker, CSD, aziende tecnologiche e altre società finanziarie in tutto il mondo. ● Essendo stata fondata il 9 Settembre 2009 con 10 dipendenti, oggi impiega oltre 540 professionisti. ● L’Exactpro ha fatto parte del Gruppo London Stock Exchange (LSEG) dal maggio 2015 fino al gennaio 2018. Dopo di che la direzione dell’ Exactpro ha acquisito L’Exactpro da LSEG in gennaio 2018. La sede centrale si trova a Londra, altri uffici sono negli Stati Uniti, in Georgia e in Russia.

Nostri clienti

Sistemi basati sull'intelligenza artificiale nel settore finanziario L'apprendimento Automatico nelle strutture finanziarie: - Ha già superato il primo step di sviluppo - Utilizzo dell’apprendimento automatico aumenterà notevolmente nei prossimi 3 anni https://www.bankofengland.co.uk/-/media/boe/files/report /2019/machine-learning-in-uk-financial-services.pdf

- Sistemi di Sorveglianza del mercato - Chatbot - Sistemi di trading algoritmici - Calcolatore dei prezzi - Notizie Leggibili dalla Macchina (Machine-Readable News) - Richiesta di indennizzo assicurativo (Insurance Claims) Sistemi basati sull'intelligenza artificiale nel settore finanziario L'apprendimento Automatico nelle strutture finanziarie: - Ha già superato il primo step di sviluppo - Utilizzo dell’apprendimento automatico aumenterà notevolmente nei prossimi 3 anni https://www.bankofengland.co.uk/-/media/boe/files/report /2019/machine-learning-in-uk-financial-services.pdf

Le caratteristiche qualitative dei sistemi AI - Capacità di apprendimento : La capacità del sistema di apprendere durante il suo funzionamento o in base a eventi accaduti e dati in entrata. - Capacità di generalizzare: la capacità di un sistema di lavorare con vari scenari imprevisti - Affidabilità: il grado di fiducia dalla parte del proprietario del sistema nei confronti di esso A4Q AI and Software Testing Foundation Syllabus https://www.gasq.org/en/exam-modules/a4q-ai-and-software-testing.html Testing di “Intelligenza” della vostra AI

Abilità di apprendere https://www.deeplearning.ai/ • Training set — dove si avvia l’algoritmo di apprendimento • Development set — dove si impostano paramenti e si prendono altre decisioni riguardanti l’algoritmo di apprendimento. A volte chiamato anche hold-out cross validation set. • Test set — dove si valuta la performance dell’algoritmo senza prendere nessuna decisione circa l’algoritmo di apprendimento e i suoi paramenti.

Affidabilità https://innovation.defense.gov/ai/ During the DIB’s quarterly public meeting on October 31, 2019, the DIB members voted to approve the proposed AI Principles.

https://www.mas.gov.sg/news/media-releases/2019/mas-partners-financial-industry-to-creat e-framework-for-responsible-use-of-ai Affidabilità

Abilità di generalizzare: area di Testing End-to-End e Testing Negativo

Bias di congruenza Bias di conferma La legge sulla trivialità Bias rischio zero Bias antropocentrico Illusione del controllo I bias cognitivi influenzano il testing di software di sistemi AI Bias di automazione

Sistemi basati sull'Intelligenza Artificiale: Notizie Leggibili dalla Macchina (Machine-Readable News)

Bias di conferma ...Jackpot! Ho sentito la situazione da entrambe le parti…adesso c’è da fare la mia ricerca personale sulla verità... Praticamente il primo link che coincide con l’opinione che hai già.. adesso c’è da fare la mia ricerca personale sulla verità... Sostiene completamente il tuo punto di vista senza nessuna contraddizione Found 80,000 results Another Link

Salman, I. (2016). Cognitive biases in software quality and testing. Proceedings of the 38th International Conference on Software Engineering Companion - ICSE ’16. Pp. 823-826.

Mohanani, R., Salman, I., Turhan, B., Rodríguez, P., & Ralph, P. (2018). Cognitive Biases in Software Engineering: A Systematic Mapping Study. IEEE Transactions on Software Engineering

Sistemi basati sull'Intelligenza Artificiale: Chatbots Chatbot

Bias Antropocentrico Non dovremmo umanizzare il computer

Non gli piace molto! Bias Antropocentrico

Bias Antropocentrico: Il testing del Robot Sminatore

Bias Antropocentrico: Perché trattiamo un robot come se fosse un essere umano? Darling, Kate and Nandy, Palash and Breazeal, Cynthia “Empathic Concern and the Effect of Stories in Human-Robot Interaction” (2015). Proceedings of the IEEE International Workshop on Robot and Human Communication (ROMAN), 2015. 6 p. https://www.ted.com/talks/kate_darling_why_we_have_an_emotional_conne ction_to_robots

Bias Antropocentrico: Il Testing di Chatbot Relazioni anaforiche Utente: Ho comprato 500 azioni di una Società due anni fa. I titoli azionari sono costati € 60,000. Che prezzo hanno oggi? Chatbot: Che valuta vuole avere al cambio di oggi? X Spelling / Correttezza della scrittura Utente: Qual e’ la data di tradeId XXX?? Chatbot: ???

I sistemi AI: I sistemi di Trading Algoritmici

Bias di Congruenza Testing Diretto Testing Indiretto Testing Indiretto

Metodi di Testing Indiretti Estrazione dell’informazione e l’apprendimento automatico Biblioteca di End-to-End testing automatizzato Whatever it takes! Dati in uscita dopo il test e analisi dei log Il Testing passivo Ad ogni costo!

Uso dell’approcio proposto https://unsplash.com/search/photos/san-francisco The First IEEE International Conference on Artificial Intelligence Testing (IEEE AITest 2019), April 4-9 2019, San Francisco East Bay, CA, USA User-Assisted Log Analysis for Quality Control of Distributed Fintech Systems Iosif Itkin, Anna Gromova, Anton Sitnikov, Rostislav Yavorskiy, Evgenii Tsymbalov, Andrey Novikov and Kirill Rudakov.

Legge sulla trivialità (Effetto delle rimessa per le biciclette)

Bias di automazione

Sistemi basati sull’AI: Sorveglianza del mercato e Identificazione delle truffe

Build Software to Test Software Click to know more about Exactpro Test Tools

Sistemi basati sull’AI: Richiesta di indennizzo assicurativo (Insurance Claims)

Bias Rischio Zero

Sistemi non deterministici: Infrastruttura del Mercato Finanziario

Illusione di controllo e di felicità Sherman, G. D., Lee, J. J., Cuddy, A. J. C., Renshon, J., Oveis, C., Gross, J. J., & Lerner, J. S. (2012). Leadership is associated with lower levels of stress. Proceedings of the National Academy of Sciences, 109(44), 17903–17907.

Fenton-O’Creevy, M., Nicholson, N., Soane, E., & Willman, P. (2003). “Trading on illusions: Unrealistic perceptions of control and trading performance”. Journal of Occupational and Organizational Psychology, 76(1), 53–68. Illusione di controllo e di performance

Grazie