Data som et produkt - en historie om modellering på vei mot Data Mesh

Slide 1

Slide 1 text

Data som et produkt - en historie om modellering på vei mot Data Mesh Make Data Smart Trondheim 2023 Mufrid Krilic Domain-Driven Design Coach, CoWork

Slide 2

Slide 2 text

Litt om meg selv • Utvikler og Teknisk Coach • Applikasjonsutvikling • Arkitekt • Bistår kunder med å oppnå målet om data-drevet virksomhet • Domener: helse, forsikring, telekom • Ta gjerne kontakt! • www.linkedin.com/in/mufrid/ • [email protected] With Courage to Make Changes Skaper din digitale selvtillit

Slide 3

Slide 3 text

CoWork – Ingen ledere men fullt av ledelse • Tight Loose Tight – TLT • Strategisk og smidig ledelse • Domain-Driven Design • Produkt- og teknologiledelse With Courage to Make Changes Skaper din digitale selvtillit

Slide 4

Slide 4 text

Om ledelse, organisering, og om å sette alt sammen på en litt annen måte….

Slide 5

Slide 5 text

Agenda i dag • Vurdere Data Mesh - hvorfor og når? • Produkt og data – hva menes med dataprodukter egentlig? • Skille mellom logisk og fysisk arkitektur • 4+1 modellen

Slide 6

Slide 6 text

Spørsmål på menti.com 44 46 99

Slide 7

Slide 7 text

Data Mesh Grunnleggende prinsipper

Slide 8

Slide 8 text

Spørsmål på menti.com 44 46 99 Data Mesh – definisjon «desentralisert sosio-teknisk tilnærming til deling, tilgang og forvaltning av analytiske data i komplekse omgivelser» - Zhamak Dehghani

Slide 9

Slide 9 text

Spørsmål på menti.com 44 46 99 Fire prinsipper 1. Domene-orientert dataeierskap 2. Data som produkt 3. Selvbetjent dataplattform 4. Fellesskaps-drevet styringsmodell • «Federated Computational Governance»

Slide 10

Slide 10 text

Domene-orientert dataeierskap

Slide 11

Slide 11 text

Spørsmål på menti.com 44 46 99 Etablerte domenegrenser! • Forutsetning for Data Mesh! • «domain-oriented decentralized data ownership and architecture»

Slide 12

Slide 12 text

Finne domenegrenser med Domain-Driven Design

Slide 13

Slide 13 text

Spørsmål på menti.com 44 46 99 Prinsipp om domene-orientering • Dataeierskap nærmest mulig kilden • Multiple autonome dog integrerte modeller

Slide 14

Slide 14 text

Spørsmål på menti.com 44 46 99 Prinsipp om domene-orientering • Datarelevans • «No single source of truth» • Data-pipeline er intern implementasjonsdetalj i hvert domene

Slide 15

Slide 15 text

Data som produkt

Slide 16

Slide 16 text

Spørsmål på menti.com 44 46 99 Prinsipp om data som produkt • Produkttenking! • Hvem er bruker og hva er formålet? • Hva skal data brukes til? • Data-produkt • Discoverable • Addressable • Trustworthy • Self-describing • Inter-operable • Secure

Slide 17

Slide 17 text

Selvbetjent dataplattform

Slide 18

Slide 18 text

Spørsmål på menti.com 44 46 99 Prinsipp om selvbetjent dataplattform • Først og fremst fokusert på behovene til produktteamene • Gjøre det enkelt å publisere, forvalte og konsumere dataproduktene • Muliggjøre å få verdi ut av data • Plattformtenkning

Slide 19

Slide 19 text

Fellesskaps-drevet styringsmodell

Slide 20

Slide 20 text

Spørsmål på menti.com 44 46 99 Fellesskaps-drevet styringsmodell • Spilleregelforum! • Involver i styringsgruppa de som blir påvirket! • Produktteamene og domeneeiere • Deleger og automatiser!

Slide 21

Slide 21 text

Systemtenkning! • Tilbakekobling sløyfer • «Feedback loops» • Innflytelsespunkter • «Leverage points» Feedback • Varmt eller kaldt vann Innflytelsespunkt

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Hvorfor Data Mesh? Hvilke behov skal dekkes?

Slide 24

Slide 24 text

Spørsmål på menti.com 44 46 99 Hvorfor vurdere Data Mesh? • Sosioteknisk vurdering! • Skalering • Antall datakilder • Organisasjonen(e) som er involvert

Slide 25

Slide 25 text

Spørsmål på menti.com 44 46 99 Når vurdere Data Mesh? • Når vil skalering begynne å skape uhåndterlig kompleksitet? • Finne beslutningspunkter før dette oppstår • Tenk sosioteknisk!

Slide 26

Slide 26 text

Spørsmål på menti.com 44 46 99 Desentralisering koster • Data Mesh argumenterer for mer desentralisering • Desentralisering av beslutninger! • Forutsi punktet der verdi og mulighetene med desentralisering blir større enn kostnader

Slide 27

Slide 27 text

Fagforening og forsikring Use Case

Slide 28

Slide 28 text

Spørsmål på menti.com 44 46 99 Bakgrunn • Fagforening og forsikring er historisk tett knyttet • Ført til utvikling av en del monolitt systemer med ulike utgangspunkter • Kan ha utgangspunkt i medlemskap i fagforening • Kan ha utgangspunkt i forsikring

Slide 29

Slide 29 text

No content

Slide 30

Slide 30 text

Spørsmål på menti.com 44 46 99 Skalering – kun i store organisasjoner? • Eks: Anskaffelse av nytt system • Plutselig vekst! • Vi får avhengighet til en annen organisasjon • I motsetning til organisk vekst • Er vi bedre tjent med desentralisert tilnærming fremover?

Slide 31

Slide 31 text

No content

Slide 32

Slide 32 text

Spørsmål på menti.com 44 46 99 Noen sideeffekter av uklar eierskap • Skyggesystemer for dataanalyse • Mer eller mindre utstrakt bruk • Leverandører av ulike systemer bidrar ikke proaktivt til analyseformål • Opptrer ikke som interessent

Slide 33

Slide 33 text

Hvordan starte? …. med Data Mesh

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Spørsmål på menti.com 44 46 99 Prinsipp om data som produkt • Produkttenking! • Hvem er bruker og hva er formålet? • Hva skal data brukes til? • Det sentrale ordet er Produkt

Slide 37

Slide 37 text

Spørsmål på menti.com 44 46 99 Produktforvaltning • Eget fagfelt • Forstå behov til mennesker som skal bruke produktet • Forstå behov til mennesker og hvordan kan de bruke data til å dekke behovene

Slide 38

Slide 38 text

Modellering av dataprodukter • Kom i gang med en prototype • Finn data • Forstå data mot behovene • Modellere datastrukturer • Visualisere • Fra Jon Cooke • «Iteration is key»

Slide 39

Slide 39 text

Spørsmål på menti.com 44 46 99 Data Product Life-Cycle - Jon Cooke

Slide 40

Slide 40 text

Metodikk vi kan bruke? …. til modellering av dataprodukter?

Slide 41

Slide 41 text

@mufridk Impact Mapping ▪ Fokusere på ▪ Mål du ønsker å oppnå ▪ Rollene som kan hjelpe deg eller hindre deg i å nå målet ▪ Effektene du ønsker å observere på rollene impactmapping.org Gojko Adzic

Slide 42

Slide 42 text

@mufridk Impact Mapping ▪ Metodikk for workshop fasilitering ▪ Modellering i fellesskap aka “Collaborative Modeling” ▪ Veileder deltagere gjennom fire spørsmål – Hvorfor? – Hvem? – Hvordan? – Hva? impactmapping.org Gojko Adzic

Slide 43

Slide 43 text

No content

Slide 44

Slide 44 text

No content

Slide 45

Slide 45 text

Noen eksempler Resultat fra Impact Mapping workshop

Slide 46

Slide 46 text

No content

Slide 47

Slide 47 text

Behov Effekt Dataprodukt Data i forsikrings- systemet Data i medlems- systemet Hvilke effekter har markedsføring for å få medlemmer til å kjøpe første forsikring som fort som mulig? Større kundelojalitet fordi dette er en attraktiv medlemsfordel I de siste 5 årene hvor lang gjennomsnittstid har det gått for ny- innmeldt medlem å kjøpe første forsikring? Forskjell på kvinner og menn? Avhengig hvor medlem er ansatt? - Startdato på første kjøpte forsikring - Innmeldingsdato - Hvor jobber medlem? - Type medlemskap - Kjønn Dataprodukt for Markedsteamet

Slide 48

Slide 48 text

Behov Effekt Dataprodukt Data i forsikrings- systemet Data i medlems- systemet Når blir våre medlemmer kjøpsmodne for ulike produkter etter innmeldingen? Lage skreddersydd tilbud på forsikringer som passer med behovene. Enkelte produkter kjøpes tidligere enn andre - skadeforsikring typisk, mens personforsikringer kommer senere I de siste 5 år hvor lang gjennomsnittstid har det gått før første skadeforsikring eller personforsikring ble kjøpt etter innmelding? - Type forsikring - Startdato på forsikring - Innmeldingsdato - Alder Dataprodukt for forvaltere av forsikringsprodukter

Slide 49

Slide 49 text

Behov Effekt Dataprodukt Data i forsikrings- systemet Data i medlems- systemet Hvordan påvirker utfordrende økonomiske tider våre forsikringsprodukter? Kunne informere riktig medlemsgruppe om fordeler med å ha riktig forsikringssum på personforsikringene ut fra behovene I de siste 3 år hvor mange har faktisk redusert forsikringssum på de samme personforsikringene (uten å si opp hele summen)? Hvor gamle er medlemmene som har redusert forsikringssum i de siste 3 år på sine personforsikringene og hva er reduksjon i antall G? - Antall G før - Antall G nå - Type forsikring - Hvem har reservasjon på økning i antall G fra forsikringsgiver? - Alder Dataprodukt for ledere i informasjonsavdelingen

Slide 50

Slide 50 text

Spørsmål på menti.com 44 46 99 Hva har vi oppnådd? • Direkte og synlig kobling mellom data og behovet for data • Insentiv til leverandører/dataeiere om å være mer proaktiv • Forbedre dataproduktene ut fra behovene • Skape nye dataprodukter

Slide 51

Slide 51 text

Spørsmål på menti.com 44 46 99 “Er dette oppskriften på datakaos?” • Har vi full kontroll på hva hver enkelt team gjør? • Dette er det neste steget • Validere domenegrensene og nåværende dataeierskap • Felleskapsdrevet styringsmodell

Slide 52

Slide 52 text

Hva med teknologi? Må vi investere i noe nytt?

Slide 53

Slide 53 text

Spørsmål på menti.com 44 46 99 Hvor hører dataprodukter til? • Er det teknologi-relatert? • Er det logisk konsept? • En abstraksjon • Abstraksjon på datanivå som representerer et behov som skal dekkes

Slide 54

Slide 54 text

Spørsmål på menti.com 44 46 99 Betrakte et system fra ulike perspektiver • The “4+1” View Model of Software Architecture • Philippe Kruchten • https://bit.ly/4plus1Paper

Slide 55

Slide 55 text

Dataprodukter definisjon, kontrakt, målgruppe, tilgang Funksjonelt brukerbehov

Slide 56

Slide 56 text

Oppsummering • Desentralisering koster – sunt med skepsis • Skalering kan skape uhåndterbar kompleksitet • Organisasjonsvekst • Antall datakilder • Er Data Mesh noe å vurdere? • Dataprodukt – fokus på ordet Produkt • Dataprodukt er logisk konsept • Vurdere å innføre uten å investere i ny teknologi

Slide 57

Slide 57 text

Takk for meg! • Ta gjerne kontakt! • www.linkedin.com/in/mufrid/ • [email protected] With Courage to Make Changes Skaper din digitale selvtillit

Slide 58

Slide 58 text

No content

Slide 59

Slide 59 text

Bilder • https://unsplash.com/@goian • https://unsplash.com/@theshubhamdhage • Bing Image Creator powered by DALL-E 3 • https://vecteezy.com