Testing AI Systems: Quality Characteristics and Cognitive Biases

Testing AI Systems: Quality Characteristics and Cognitive Biases (IT)

Anna-Maria Lukina
Marketing Director, Exactpro

QA Financial Forum
29 January 2020, Milan

To learn more about Exactpro, visit our website https://exactpro.com/

Follow us on
LinkedIn https://www.linkedin.com/company/exactpro-systems-llc
Twitter https://twitter.com/exactpro
Facebook https://www.facebook.com/exactpro/
Instagram https://www.instagram.com/exactpro/

Subscribe to Exactpro Vimeo channel https://vimeo.com/exactpro
Subscribe to Exactpro YouTube channel https://www.youtube.com/c/exactprosystems

Transcript

1. Testing dei Sistemi AI:
   Caratteristiche qualitative e bias
   cognitivi
   Anna-Maria Lukina, Direttore di Marketing, Exactpro
   

   View Slide

2. Chi siamo
   ● L’Exactpro è una società specializzata nel testing funzionale e non funzionale
   per i sistemi di Borse, Clearing Houses, banche, trade repositories, broker,
   CSD, aziende tecnologiche e altre società finanziarie in tutto il mondo.
   ● Essendo stata fondata il 9 Settembre 2009 con 10 dipendenti, oggi impiega
   oltre 540 professionisti.
   ● L’Exactpro ha fatto parte del Gruppo London Stock Exchange (LSEG) dal
   maggio 2015 fino al gennaio 2018. Dopo di che la direzione dell’ Exactpro ha
   acquisito L’Exactpro da LSEG in gennaio 2018.
   La sede centrale si trova a Londra, altri uffici sono negli Stati Uniti, in Georgia
   e in Russia.
   

   View Slide

3. Nostri clienti
   

   View Slide

4. Sistemi basati sull'intelligenza artificiale nel settore finanziario
   L'apprendimento Automatico nelle strutture
   finanziarie:
   - Ha già superato il primo step di sviluppo
   - Utilizzo dell’apprendimento automatico aumenterà
   notevolmente nei prossimi 3 anni
   https://www.bankofengland.co.uk/-/media/boe/files/report
   /2019/machine-learning-in-uk-financial-services.pdf
   

   View Slide

5. - Sistemi di Sorveglianza del
   mercato
   - Chatbot
   - Sistemi di trading algoritmici
   - Calcolatore dei prezzi
   - Notizie Leggibili dalla Macchina
   (Machine-Readable News)
   - Richiesta di indennizzo
   assicurativo (Insurance Claims)
   Sistemi basati sull'intelligenza artificiale nel settore finanziario
   L'apprendimento Automatico nelle strutture
   finanziarie:
   - Ha già superato il primo step di sviluppo
   - Utilizzo dell’apprendimento automatico aumenterà
   notevolmente nei prossimi 3 anni
   https://www.bankofengland.co.uk/-/media/boe/files/report
   /2019/machine-learning-in-uk-financial-services.pdf
   

   View Slide

6. Le caratteristiche qualitative dei sistemi AI
   - Capacità di apprendimento : La capacità del sistema di apprendere durante il suo
   funzionamento o in base a eventi accaduti e dati in entrata.
   - Capacità di generalizzare: la capacità di un sistema di lavorare con vari scenari imprevisti
   - Affidabilità: il grado di fiducia dalla parte del proprietario del sistema nei confronti di esso
   A4Q AI and Software Testing
   Foundation
   Syllabus
   https://www.gasq.org/en/exam-modules/a4q-ai-and-software-testing.html
   Testing di
   “Intelligenza”
   della vostra AI
   

   View Slide

7. Abilità di apprendere
   https://www.deeplearning.ai/
   • Training set — dove si avvia l’algoritmo di apprendimento
   • Development set — dove si impostano paramenti e si prendono
   altre decisioni riguardanti l’algoritmo di apprendimento. A volte
   chiamato anche hold-out cross validation set.
   • Test set — dove si valuta la performance dell’algoritmo senza
   prendere nessuna decisione circa l’algoritmo di apprendimento e i
   suoi paramenti.
   

   View Slide

8. Affidabilità
   https://innovation.defense.gov/ai/
   During the DIB’s quarterly public meeting on October 31, 2019, the DIB
   members voted to approve the proposed AI Principles.
   

   View Slide

9. https://www.mas.gov.sg/news/media-releases/2019/mas-partners-financial-industry-to-creat
   e-framework-for-responsible-use-of-ai
   Affidabilità
   

   View Slide

10. Abilità di generalizzare: area di Testing End-to-End e Testing
    Negativo
    

    View Slide

11. Bias di
    congruenza
    Bias di
    conferma
    La legge sulla
    trivialità
    Bias rischio zero
    Bias
    antropocentrico
    Illusione del
    controllo
    I bias cognitivi influenzano il testing di software di sistemi AI
    Bias di
    automazione
    

    View Slide

12. Sistemi basati sull'Intelligenza Artificiale:
    Notizie Leggibili dalla Macchina (Machine-Readable News)
    

    View Slide

13. Bias di conferma
    ...Jackpot!
    Ho sentito la situazione da
    entrambe
    le parti…adesso c’è da fare la
    mia ricerca personale
    sulla verità... Praticamente il primo link
    che coincide con l’opinione
    che hai già..
    adesso c’è da fare la mia ricerca personale sulla verità...
    Sostiene completamente il tuo
    punto di vista senza nessuna
    contraddizione
    Found 80,000 results
    Another Link
    

    View Slide

14. Salman, I. (2016). Cognitive biases in software quality and testing. Proceedings
    of the 38th International Conference on Software Engineering Companion - ICSE
    ’16. Pp. 823-826.
    

    View Slide

15. Mohanani, R., Salman, I., Turhan, B., Rodríguez, P., & Ralph, P. (2018).
    Cognitive Biases in Software Engineering: A Systematic Mapping Study.
    IEEE Transactions on Software Engineering
    

    View Slide

16. Sistemi basati sull'Intelligenza Artificiale: Chatbots
    Chatbot
    

    View Slide

17. Bias Antropocentrico
    Non dovremmo
    umanizzare il computer
    

    View Slide

18. Non gli piace molto!
    Bias Antropocentrico
    

    View Slide

19. Bias Antropocentrico: Il testing del Robot Sminatore
    

    View Slide

20. Bias Antropocentrico:
    Perché trattiamo un robot come se fosse un essere umano?
    Darling, Kate and Nandy, Palash and Breazeal, Cynthia
    “Empathic Concern and the Effect of Stories in
    Human-Robot Interaction” (2015). Proceedings of the
    IEEE International Workshop on Robot and Human
    Communication (ROMAN), 2015. 6 p.
    https://www.ted.com/talks/kate_darling_why_we_have_an_emotional_conne
    ction_to_robots
    

    View Slide

21. Bias Antropocentrico: Il Testing di Chatbot
    Relazioni anaforiche
    Utente: Ho comprato 500 azioni di una Società due anni fa. I titoli
    azionari sono costati € 60,000. Che prezzo hanno oggi?
    Chatbot: Che valuta vuole avere al cambio di oggi? X
    Spelling / Correttezza della scrittura
    Utente: Qual e’ la data di tradeId XXX??
    Chatbot: ???
    

    View Slide

22. I sistemi AI: I sistemi di Trading Algoritmici
    

    View Slide

23. Bias di Congruenza
    Testing
    Diretto
    Testing
    Indiretto
    Testing
    Indiretto
    

    View Slide

24. Metodi di Testing Indiretti
    Estrazione
    dell’informazione e
    l’apprendimento
    automatico
    Biblioteca di
    End-to-End
    testing
    automatizzato
    Whatever it
    takes!
    Dati in uscita
    dopo il test e
    analisi dei log Il Testing passivo
    Ad ogni
    costo!
    

    View Slide

25. Uso dell’approcio proposto
    https://unsplash.com/search/photos/san-francisco
    The First IEEE International Conference on Artificial
    Intelligence Testing (IEEE AITest 2019), April 4-9 2019, San
    Francisco East Bay, CA, USA
    User-Assisted Log Analysis for Quality
    Control of Distributed Fintech Systems
    Iosif Itkin, Anna Gromova, Anton Sitnikov, Rostislav Yavorskiy, Evgenii
    Tsymbalov, Andrey Novikov and Kirill Rudakov.
    

    View Slide

26. Legge sulla trivialità (Effetto delle rimessa per le biciclette)
    

    View Slide

27. Bias di automazione
    

    View Slide

28. Sistemi basati sull’AI:
    Sorveglianza del mercato e Identificazione delle truffe
    

    View Slide

29. Build Software to Test Software
    Click to know more about
    Exactpro Test Tools
    

    View Slide

30. Sistemi basati sull’AI:
    Richiesta di indennizzo assicurativo (Insurance Claims)
    

    View Slide

31. Bias Rischio Zero
    

    View Slide

32. Sistemi non deterministici: Infrastruttura del Mercato Finanziario
    

    View Slide

33. Illusione di controllo e di felicità
    Sherman, G. D., Lee, J. J., Cuddy, A. J. C., Renshon, J., Oveis, C., Gross, J. J., & Lerner, J. S.
    (2012). Leadership is associated with lower levels of stress. Proceedings of the
    National Academy of Sciences, 109(44), 17903–17907.
    

    View Slide

34. Fenton-O’Creevy, M., Nicholson, N., Soane, E., &
    Willman, P. (2003). “Trading on illusions:
    Unrealistic perceptions of control and
    trading performance”. Journal of Occupational
    and Organizational Psychology, 76(1), 53–68.
    Illusione di controllo e di performance
    

    View Slide

35. Grazie
    

    View Slide