Data Mesh er en dataarkitektur, der har til formål at skabe en delt, central myndighed for data på tværs af en organisation.
Det søger at skabe en kultur og styring omkring data, der muliggør selvbetjening, selvstændige teams og giver dem mulighed for at samarbejde og innovere ved hjælp af data. Lad os forstå, hvad Data Mesh handler om.
Indholdsfortegnelse
Hvad er Data Mesh?
Med enkle ord er Data Mesh en decentraliseret arkitektur til styring af data i en organisation, hvilket betyder, at den er designet til at give kontrol og ejerskab af data til de teams, der bruger dem, i stedet for at centralisere dem i en enkelt gruppe eller afdeling.
Det understreger vigtigheden af data som et nøgleaktiv. Det er designet til at hjælpe organisationer med at opnå bedre datastyring, datakvalitet og dataintegration, samtidig med at det fremmer en kultur med datadrevet beslutningstagning.
Data Mesh-arkitektur
En Data Mesh-arkitektur omfatter typisk tre hovedkomponenter: datakilder, infrastruktur og domæneorienterede datapipelines, der administreres af funktionelle ejere.
Billedkredit: Microsoft
Disse tre komponenter er forbundet og integreret i stedet for at være isolerede siloer af data. I en Data Mesh-arkitektur er teams ansvarlige for de data, de bruger, herunder deres kvalitet, adgang og sikkerhed.
Denne decentraliserede tilgang er med til at sikre, at data bruges effektivt, og at teams har den nødvendige information til at træffe informerede beslutninger. Det fremmer også en kultur af datadrevet beslutningstagning ved at gøre data mere tilgængelige, gennemsigtige og troværdige.
Trin, der er nødvendige for at designe en datamesh-arkitektur
For at implementere data mesh i en organisation, kan følgende trin følges:
#1. Identificer forretningsdomæner
Det første trin i implementeringen af data mesh er at identificere forretningsdomænerne i organisationen. Det er de områder af virksomheden, der er ansvarlige for at levere værdi til kunderne. Hvert virksomhedsdomæne bør have en klar ejer, som er ansvarlig for de data, der bruges inden for det pågældende domæne.
#2. Etablere datastyring
Der bør etableres en klar datastyringsramme for at sikre, at data bruges ansvarligt og etisk. Dette omfatter etablering af roller og ansvar for datastyring, fastsættelse af standarder for datakvalitet og nøjagtighed og definition af processer for dataadgang og -brug.
#3. Definer dataejerskab
Hvert forretningsdomæne bør være ansvarligt for de data, det bruger, herunder dets kvalitet og nøjagtighed. Det betyder, at forretningsdomænet bør involveres i oprettelsen og vedligeholdelsen af dataene, samt deres brug og formidling.
#4. Fremme datafærdighed
For at sætte medarbejdere i stand til at træffe informerede beslutninger baseret på data, er det vigtigt at fremme datafærdigheder i organisationen. Dette kan gøres gennem trænings- og uddannelsesprogrammer, samt ved at give adgang til værktøjer og ressourcer, der gør medarbejderne i stand til at arbejde med data.
#5. Demokratiser dataadgang
Datamesh fremmer demokratisering af data, hvilket betyder, at data skal gøres tilgængelige for alle medarbejdere. Dette kan gøres ved at levere værktøjer og ressourcer, der gør det muligt for medarbejderne at få adgang til og bruge data fra hele organisationen.
#6. Implementere dataoperationer
For at sikre, at data administreres og vedligeholdes korrekt, er det vigtigt at indføre processer og praksis for datadrift. Dette omfatter opgaver såsom dataindtagelse, datatransformation og datalagring og -hentning.
Principper for Data Mesh
Data mesh er implementeret gennem et sæt principper og praksis, der har til formål at skabe en kultur af datadrevet beslutningstagning og gør det muligt for medarbejderne lettere at få adgang til og bruge data fra hele organisationen.
Disse fire principper omfatter:
Billedkredit: altexsoft
#1. Domæneorienteret decentraliseret dataejerskab og arkitektur
Dette princip understreger vigtigheden af at organisere data omkring forretningsdomæner, hvor hver forretningsenhed er ansvarlig for de data, den bruger, og kvaliteten af disse data. Dette er med til at sikre, at data er tilpasset virksomhedens og dens kunders behov og gør det muligt for forretningsenheder lettere at få adgang til og bruge data fra andre dele af organisationen.
#2. Data som et produkt
Dette princip behandler data som et værdifuldt aktiv, der bør administreres og styres som et produkt. Dette omfatter definition af dataprodukter, etablering af dataproduktteams og oprettelse af et dataproduktkøreplan.
#3. Selvbetjent datainfrastruktur som platform
Det tilskynder til oprettelsen af en selvbetjeningsmodel for data, hvor forretningsenheder har mere kontrol over de data, de bruger, og lettere kan tilgå og bruge data fra andre dele af organisationen.
#4. Fødereret beregningsstyring
Dette princip etablerer en ramme for datastyring, der tager højde for behovene og målene for flere interessenter, herunder forretningsenheder, it og dataforskere. Denne tilgang er med til at sikre, at data bruges ansvarligt og etisk og fremmer datafærdigheder og datadrevet beslutningstagning i organisationen.
Vigtigheden af Data Mesh
Der er flere grunde til, at en organisation kan overveje at anvende data mesh:
Forbedret datakvalitet og nøjagtighed
Ved at organisere data omkring forretningsdomæner og etablere tydeligt ejerskab og styring, kan data mesh hjælpe med at forbedre kvaliteten og nøjagtigheden af data i en organisation. Dette kan være med til at sikre, at data er tilpasset virksomhedens og dens kunders behov og kan understøtte mere informeret beslutningstagning.
Forbedret datatilgængelighed og brugervenlighed
Datamesh fremmer demokratisering af data, hvilket betyder, at data skal gøres tilgængelige for alle medarbejdere. Dette kan gøres ved at levere værktøjer og ressourcer, der gør det muligt for medarbejderne at få adgang til og bruge data fra hele organisationen. Ved at gøre det muligt for medarbejderne lettere at få adgang til og bruge data, kan data mesh hjælpe med at forbedre datafærdigheder og datadrevet beslutningstagning i organisationen.
Større kontrol over data
Med data mesh får forretningsenheder mere kontrol over de data, de bruger, og kvaliteten af disse data. Dette kan være med til at sikre, at data er tilpasset virksomhedens behov og lettere kan tilgås og bruges af de mennesker, der har brug for dem.
Bedre datastyring
Datamesh fremmer etableringen af klare datagovernance-rammer, der er med til at sikre, at data bruges ansvarligt og etisk. Dette omfatter etablering af roller og ansvar for datastyring, fastsættelse af standarder for datakvalitet og nøjagtighed og definition af processer for dataadgang og -brug.
Overordnet set kan vedtagelse af datamesh hjælpe organisationer med at udnytte deres dataaktiver mere og fremme en kultur med datadrevet beslutningstagning.
Data Mesh vs. Data Lake
Data mesh og data lake har flere forskelle med hensyn til deres fokus, organisering af data, vægt på datastyring og læsefærdighed og tilgang til dataadgang og -brug.
Her er en sammenligning af data mesh og data lake i tabelform:
Data MeshData Lake Fokuserer på virksomhedens og dens kunders behov Fokuserer på tekniske aspekter af datalagring og -behandling. Organiserer data omkring forretningsdomæner. Organiserer data i en hierarkisk filstruktur Data ejes og styres af forretningsenheder Data kan tilgås af flere afdelinger eller teams. Understreger datastyring og datafærdighedDet fokuserer ikke nødvendigvis på datastyring eller datafærdighed Muliggør en kultur for datadrevet beslutningstagning. Giver et centraliseret lager til lagring og behandling af data. Opfordrer til selvbetjeningsdataadgangDet kan kræve it-indgreb for at få adgang til og bruge data. Fremmer datademokratisering Kan have begrænset dataadgang på grund af sikkerhed eller bekymringer om beskyttelse af personlige oplysninger Følger principperne for domænedrevet design. Følger ikke en specifik designramme Involverer datadriftsprocesser og -praksis Har muligvis ikke specifikke processer for datadriftDet kan kræve mere forudgående planlægning og designDet kan være mere fleksibelt og give mulighed for ad hoc datalagring alder og bearbejdning
En datasø er et centralt lager, der giver dig mulighed for at gemme alle dine strukturerede og ustrukturerede data i enhver skala. Det er et sted at gemme data i dens rå og granulære form, før nogen form for behandling eller transformation har fundet sted. Dette giver organisationer mulighed for at gemme og analysere data mere fleksibelt og omkostningseffektivt end traditionelle datavarehuse.
Mens datanettet er designet til at give teams mulighed for at eje og administrere deres egne data i stedet for at stole på en centraliseret gruppe til at administrere data for dem.
Data Mesh læringsressourcer
Der er mange ressourcer tilgængelige online til at lære om data mesh, og det kan være overvældende at forsøge at finde de mest nyttige. At lære data mesh på den rigtige måde er vigtigt for at sikre, at du har en solid forståelse af begreberne og effektivt kan anvende dem i dit arbejde.
Disse ressourcer kan danne grundlag for at forstå principperne og praksisserne for data mesh og kan hjælpe dig med at opbygge de færdigheder, du har brug for til at administrere og analysere data i et data mesh-miljø effektivt.
#1. Data Mesh – Et moderne decentraliseret datastyringskoncept
I dette Udemy-kursus dækker underviseren det grundlæggende i datamesh-arkitektur for effektiv datastyring. Og leverer også forskellige casestudier om implementering af data mesh.
Det er muligt at gennemføre dette kursus på Udemy inden for en uge, afhængigt af din tidsplan og mængden af tid, du er i stand til at afsætte til kurset. Det er dog vigtigt at huske på, at kurset er designet til at give et omfattende overblik over datamesh og som sådan kan det kræve mere tid at forstå og absorbere materialet fuldt ud.
#2. Data Mesh: Den komplette masterclass
For personer, der søger at fremme deres erhverv, er dette datamesh-kursus fremragende. Dette kursus dækker hvert emne relateret til design af et datanet og dataproduktarkitektur,
Ved afslutningen af dette kursus vil du være i stand til at implementere data mesh-konceptet i virkelige virksomheder. Der kræves ingen forudgående viden om data mesh for at starte med dette kursus,
#3. Data Mesh: Leverer datadrevet værdi i skala
Denne bog introducerer begrebet data mesh og giver et klart overblik over, hvordan man designer en data mesh arkitektur og en guide til data mesh strategi og eksekvering.
Mange anmeldere har fundet, at bogen er en nyttig og praktisk guide til at forstå principperne og mønstrene for datanetværk og til at implementere det i organisationer.
Konklusion
Data mesh er et designmønster og en kulturel ramme til opbygning af en datadrevet organisation. Det er baseret på ideen om at skabe en “enkelt kilde til sandhed” for data i en organisation og fremme begrebet data som et produkt.
Dette opnås gennem brug af decentraliseret datastyring, hvor tværfunktionelle teams er ansvarlige for kvaliteten, tilgængeligheden og vedligeholdelsen af data inden for deres domæne.
Data mesh understreger også vigtigheden af at etablere en klar forståelse af datakontrakterne mellem forskellige teams og opfordrer til brugen af dataopdagelsesværktøjer og -platforme for at lette deling af data inden for organisationen.
Jeg håber, at du fandt denne artikel nyttig til at lære om data mesh og dets principper. Du kan også være interesseret i at lære om datavirtualisering.