Testauskatsaus tekoälyn uhkiin onnistumisen perustana

Testauksen ammattiosaamista on tietää miten asiat menevät pieleen, ja auttaa korjaamaan kurssia. Aika varoitteluun on kuitenkin aikaa pois onnistumisessa auttamisessa, ja testausnäkökulmat tasapainottelevat epäonnistumissignaalien oikea-aikaisessa ja -painotteisessa vahvistamisessa. Tässä puheenvuorossa käydään läpi teemoitetut varoituksen sanat tekoälyn osalta jotta tekoälyn käyttöä arvioidessa testauksessa voidaan keskittyä siihen onko kyseessä ongelma, johon kanssa emme voi elää.

Käymme läpi seuraavat teemat:

- Teknologian inhimillistäminen
- AI:n ymmärrys ja järjestelmien osittamistarve
- Laajamittainen plagiarismi ja laittoman ja väärän erot
- Yhteiskunnalliset ja henkilökohtaiset vinoumat
- Tietomassojen pilaantuminen
- Osaamisen surkastuminen
- Salaisen pitäminen salaisena ja paikallisen kulttuurin säilyminen
- Työn uudelleenjako
- AI-pesu ja vihreyskustannukset
- Tietomassoihin hautautuminen ja väärän tiedon kumoamisen työmäärä
- Riittävän oikeat vastaukset suhteessa riskeihin
- Väärät ratkaisut oikeisiin ongelmiin
- Luottamuksen tuhlailu, oletuksena epäluulo
- Toisen asteen systeemiset vaikutukset

Listan pituus vihjaa että riskeistä ja huolista on keskusteltu jo paljon. Miten siis tasapainottaa ajankäyttö uhkien ja onnistumisen tukemisen välillä?

Transcript

1. © 2024 CGI Inc. 1 Testauskatsaus tekoälyn uhkiin onnistumisen perustana Maaret Pyhäjärvi
2. © 2024 CGI Inc. 2 Testauskatsaus tekoälyn uhkiin onnistumisen perustana Testauksen ammattiosaamista on tietää miten asiat menevät pieleen, ja auttaa korjaamaan kurssia. Aika varoitteluun on kuitenkin aikaa pois onnistumisessa auttamisessa, ja testausnäkökulmat tasapainottelevat epäonnistumissignaalien oikea-aikaisessa ja -painotteisessa vahvistamisessa. Tässä puheenvuorossa käydään läpi teemoitetut varoituksen sanat tekoälyn osalta jotta tekoälyn käyttöä arvioidessa testauksessa voidaan keskittyä siihen onko kyseessä ongelma, johon kanssa emme voi elää. Käymme läpi seuraavat teemat: - Teknologian inhimillistäminen - Tekoälyn ymmärrys ja järjestelmien osittamistarve - Laajamittainen plagiarismi ja laittoman ja väärän erot - Yhteiskunnalliset ja henkilökohtaiset vinoumat - Tietomassojen pilaantuminen - Osaamisen surkastuminen - Salaisen pitäminen salaisena ja paikallisen kulttuurin säilyminen - Työn uudelleenjako - AI-pesu ja vihreyskustannukset - Tietomassoihin hautautuminen ja väärän tiedon kumoamisen työmäärä - Riittävän oikeat vastaukset suhteessa riskeihin - Väärät ratkaisut oikeisiin ongelmiin - Luottamuksen tuhlailu, oletuksena epäluulo - Toisen asteen systeemiset vaikutukset Listan pituus vihjaa että riskeistä ja huolista on keskusteltu jo paljon. Miten siis tasapainottaa ajankäyttö uhkien ja onnistumisen tukemisen välillä? 2
3. © 2024 CGI Inc. 3 Sovella nykypäivän tekoälyä testauksessasi 1-päiväinen koulutus Päivittäisessä testausarjessamme meillä on käytettävissämme uusia teknologioita ja paljon tietoa niistä. Haaveilemme tekoälystä, joka toimisi tarpeeksi inhimillisesti voidakseen työskennellä kanssamme testaustoiminnassa, sekä valvotusti että valvomatta, tuottaen arvoa. Työkalut ovat saatavilla, mutta meillä on opittavaa sekä niiden käytössä että omissa tavoissamme voidaksemme hyödyntää tätä teknologiaparia päivittäisessä työssämme. On koneoppimista (ML), laajoja kielimalleja (LLM) ja RAG (Retrieval Augmented Generation). On GitHub Copilot, ChatCGP ja Hugging Face. Tällä kurssilla otamme nämä työkalut käyttöön, opimme työskentelemään niiden kanssa esimerkkien kautta ja lopuksi rakennamme oman kurssilaisten tekoälyavustajan. Sen sijaan että avustajamme olisi keskimääräinen kaikesta maailman tiedosta opetettu, annamme sille omaa materiaaliamme ja luomme putken omista teksteistämme avustajaa ohjaamaan. Rakentaessamme omaa avustajaa, opimme näkemään mitä valmiita ratkaisuja on saatavilla, mitä sosioteknisiä turvarajoja tarvitsemme, ja kuinka muutamme tapojamme hyödyntääksemme tekoälyä sekä sen valvotussa että automatisoiduissa muodossa testauksessa. Kurssi on käytännönläheinen oppimiskurssi, ja harjoitukset tehdään ryhmätestausmuodossa, jossa osallistujien rooleja kierrätetään. Harjoitusten tukena käytettävä kokemusperäinen rakenne mahdollistaa ajankäytön kohdistumisen yhteiseen käytännön kokemukseen tekoälyn soveltamisesta testaustehtäviin. Tämä koulutuspäivä opettaa sinulle: - Kuinka käyttää muiden kehittämiä tekoälytyökaluja harkiten omassa työssäsi - Kuinka jakaa testaustehtävät osatehtäviin hyödyllisten tulosten saamiseksi tekoälyparin kanssa - Kuinka rakentaa tapa käyttää tekoälytyökaluja testaustehtävien parantamiseksi - Kuinka rakentaa putki omasta tiedostasi tekoälyversioon sinusta itsestäsi 3
4. © 2024 CGI Inc. 4 Demos, June 2024 edition Contemporary Exploratory Testing RAG- assistant The world does not agree on testing and what makes up for good practice. Hidden input of instructions Prompt engineering in the background Writing Web Automation with Subtasks From DOM to POM From feature to scenarios Integrating with model-based testing GenAI Pair Testing Shameless stupid question because there truly are no stupid questions. Ideate Explain GitHub Copilot on Roman Numerals, Unit Testing 78 % of production errors in hindsight could have been found with unit tests. Capturing inputs and outputs without intent. Capturing intent. Improving intent. Text generator is not math machine Counting ‘r’ in ‘strawberry’ to understand concept of not tokenizing letters but words 4 + Documenting and reviewing PRs
5. © 2024 CGI Inc. 5 Mapping the acronyms 5 ML Machine Learning LLM Large Language Model RAG Retrieval Augmented Generation CoT Chain of Thought Agents Actors in Flows
6. © 2024 CGI Inc. 6 6
7. © 2024 CGI Inc. 7 7 Keskeinen sosiotekninen turvaraja: tietojen omistajuus ja luottamuksellisuus
8. © 2024 CGI Inc. 8 8 Kustannustietoisuus: suorat kulut, vaihtoehtoiskustannus, kustannusrakenne ja välilliset vaikutukset
9. © 2024 CGI Inc. 9 9 https://knowingmachines.org/models-all-the-way
10. © 2024 CGI Inc. 10 Tekoälyn uhkien tietoisuus onnistumisen perustana Data keskiössä Tietomassojen pilaantuminen Tietomassoihin hautautuminen ja väärän tiedon kumoamisen työmäärä Paikallisen kulttuurin säilyminen Osaaminen keskiössä Osaamisen surkastuminen Väärät ratkaisut oikeisiin ongelmiin Luottamuksen tuhlailu, oletuksena epäluulo AI-pesu Yhteiskunnalliset ilmiöt Laajamittainen plagiarismi ja laittoman ja väärän erot Yhteiskunnalliset ja henkilökohtaiset vinoumat Työn uudelleenjako Riittävän oikeat vastaukset suhteessa riskeihin
11. © 2024 CGI Inc. 11 11 Kompensaatiot. Toiminta ja panokset maailman parantamiseen.
12. © 2024 CGI Inc. 12 Improve first –thinking. 12 https://www.tivi.fi/uutiset/maaret-pyhajarvi-is- revolutionizing-software-testing-at-cgi-artificial- intelligence-is-like-an-external- imagination/0765bc05-c989-4f9e-b882- 33604c165d8e
13. © 2024 CGI Inc. 13 Insights you can act on Founded in 1976, CGI is among the largest IT and business consulting services firms in the world. We are insights-driven and outcomes-based to help accelerate returns on your investments. Across hundreds of locations worldwide, we provide comprehensive, scalable and sustainable IT and business consulting services that are informed globally and delivered locally. cgi.com