Řízení datové kvality: Data Governance | Mňamka #198

Data Governance se často používá jako buzzword. Pojďme se zkusit bavit konkrétně.

Co to je?

Data Governance je definována jako souhrn pravidel, procesů, podnikových pojmů, metrik, definic organizačních struktur a odpovědných osob pro řízení celého (tzv. end-to-end) životního cyklu dat v organizaci. Jinými slovy je to strategická správa dat - propojuje podnikovou strategii a data. Aktivity, které tuto strategickou rovinu implementují, se dají zaštítit pojmem Data Management.

Cíl

Cílem Data Governance je vytvoření dobře řiditelného, kontrolovaného a bezpečného prostředí pro operace s daty, které produkuje kvalitní a důvěryhodné výstupy pro podporu rozhodování organizace.

Proč se o tom teď tak mluví?

Za hybné síly vedoucí k zavádění DG v organizacích jsou považovány zejména rostoucí objemy dostupných dat a datových zdrojů, které jsou v podnikových aplikacích integrovány. Větší objemy a rozsáhlejší integrace představují více prostoru pro chyby, a rovněž složitější cestu k pochopení všech souvislostí. Současným trendem je i rozsáhlejší technologický stack (portfolio), tzn. využívání specializovanějších nástrojů na specifiké úlohy a jejich následná integrace. Dalším spouštěčem jsou regulace, které organizacím přikazují mít v datech pořádek a zavedené procesy pro zákonné nakládání s nimi (zejména GDPR). Častým problémem nejen ve velkých korporacích jsou i různé interpretace různých dat, metrik a podnikových pojmů v rámci společnosti, které motivují k zavádějí podnikových slovníků a katalogů.

Oblasti související s Data Governance

Podniková a datová strategie musejí být ve vzájemném souladu. Data Governance z datové strategie vychází a následně ji propojuje s Data Managementem.


Datová architektura představuje pohled na datové zdroje, databáze v informatice, jejich charakteristiky a hlavní vazby a zajišťuje jejich systematický rozvoj. Kvalitní popsaná a zdokumentovaná architektura je východiskem pro Data Governance a umožňuje naplno utilizovat moderní technologie pro naplnění cílů podnikové strategie. Datovou architekturu je nutno chápat nikoliv jako součást Data Governance, ale spíše jako úzce spřátelenou disciplínu, která na stejný problém nahlíží z více technologického pohledu. Obě disciplíny by se měly navzájem doplňovat a průběžně rozvíjet.

Oblasti Data Governance

Mezi oblasti Data Governance patří zavádění odpovědných osob a organizační struktury. Určitě už jste slyšeli minimálně o CDO, Data Owner, Data Steward… Jak tyhle role konkrétně nadefinovat a efektivně implementovat s rozumnou investicí do existující organizační struktury je na delší povídání :)

Master Management zajišťuje datovou kvalitu, unikátnost a aktuálnost záznamů v nejdůležitějších tabulkách tzv. kmenových dat, jako je zákazník, produkt, region apod., a to včetně integrity vzájemných vazeb a vazeb na transakční data. Někdy se také hovoří o vytváření tzv. Golden Record (zlatého záznamu).

Data Security Management je soubor nástrojů zajišťujících důvěrnost, dostupnost a integritu dat. Mezi oblasti, které nejvíce souvisejí s působností datových a BI týmů, patří především procesy zálohování a obnovy dat, řízení přístupu na úrovni datové integrace, analytické a vizualizační vrstvy, které může být navíc doplněno o monitorování neobvyklé aktivity. 

Data Quality Management je klíčový pro celkové vnímání a adopci analytických výstupů byznysovými uživateli, neboť jsou-li data zachycena chybně, nepřesně, nebo dodána pozdě, vytrácí se přidaná hodnota, využitelnost výstupů a důvěra uživatelů. Obzvláště s nárůstem objemu dat, častějšími změnami (ať už technologickými, architektonickými, procesními či jinými), vzestupem self-service BI (samoobslužným BI) a machine learning (strojovým učením) se pojí mnohem vyšší nároky na zajištění datové kvality napříč celou Data Pipeline.

Mezi Metadata Management nástroje patří slovníky a katalogy, které podporují porozumění podnikovým pojmům (včetně definice metrik) a efektivní vyhledávání informací. Pro analytiky a vývojáře jsou užitečné tzv. Data Discovery nástroje pro objevování datových zdrojů a porozumění jejich struktuře a způsobu využití. Konceptuální, logické a fyzické datové modely, procesní modely atd. pomáhají zachytit rostoucí komplexitu řešení. Data Lineage (mapa původu dat) využívá metadata například k zachycení informace o tom, kdy a jakým procesem byl záznam vytvořen, jak dlouho operace trvala, jaká data byla na vstupu a jaká na výstupu.

Knowledge and Collaboration Management je zpravidla realizován v podobě portálu, který shromažďuje výše zmiňované komponenty (například schémata, katalogy, slovníky, vyhledávač) a doplňuje je o další užitečné materiály přispívající k efektivitě týmu (například praktické ukázky kódu či tutoriály). Patří sem i nástroje pro komunikaci (například Slack, Trello) a nástroje podporující vývoj aplikací (například Gitlab).

Zapomněla jsem na něco? Chcete se na něco zeptat? Napište mi. 

Verča

Veronika Špryslová
datový detektiv
LinkedIn

Cirkulární graf co rozbil twitter | Mňamka #279

Cirkulární graf co rozbil twitter | Mňamka #279

V této mňamce se podíváme na trochu vizualizačního masakru, co udělal velký rozruch na Twitteru. Jde o graf, který vytvořili v New York Times a někteří ho už sedmí den roku 2022 nazvali nejhorší vizualizací tohoto roku. Jakožto každá trochu kontroverzní věc má i tento graf svoje obhájce. Co myslíte? Je to super způsob, jak ukázat timeline dat anebo to vypadá otřesně a někomu by měli sebrat licenci k vizuálním nástrojům?

Co je to Data Security? | Mňamka #278

Co je to Data Security? | Mňamka #278

V tomto článku se podíváme na základy toho, co je Data security neboli datová bezpečnost. V bizztreatu nám na security záleží, a myslíme si, že toto bude jedno z „hot“ témat roku 2022. Pojďme is tedy připomenout co se pod tímto výrazem skrývá. Pod odkazem se skrývá článek z dataversity, který vás navede na velké množství zdrojů o datové bezpečnosti například od MIT. Tak se pojďte podívat co je v bezpečnosti nového a proč je to tak důležité.

Ze života datového detektiva 4: Designér, architekt a konzultant #277

Ze života datového detektiva 4: Designér, architekt a konzultant #277

Je to tady, další článek ze seriálu „Ze života datového detektiva“, tentokrát se budeme bavit o tom co dělá architekt, designér a konzultant v Bizztreatu. Naše Verča vám to pěkně sepsala a je to fakt zajímavý čtení s hromadou prokliků na další zajímavý kontent od nás. Zajímá vás, jak to v bizztreatu s architekturou děláme? Jaký je postup pro architekta samotného? Nebo jak na architekturu navazuje datová kvalita a data governance? Pokud jste na jednu z těchto otázek odpověděli „ano“ tak šup na link a pusťte se do toho.