Řízení datové kvality: Data Governance | Mňamka #198

Data Governance se často používá jako buzzword. Pojďme se zkusit bavit konkrétně.

Co to je?

Data Governance je definována jako souhrn pravidel, procesů, podnikových pojmů, metrik, definic organizačních struktur a odpovědných osob pro řízení celého (tzv. end-to-end) životního cyklu dat v organizaci. Jinými slovy je to strategická správa dat - propojuje podnikovou strategii a data. Aktivity, které tuto strategickou rovinu implementují, se dají zaštítit pojmem Data Management.

Cíl

Cílem Data Governance je vytvoření dobře řiditelného, kontrolovaného a bezpečného prostředí pro operace s daty, které produkuje kvalitní a důvěryhodné výstupy pro podporu rozhodování organizace.

Proč se o tom teď tak mluví?

Za hybné síly vedoucí k zavádění DG v organizacích jsou považovány zejména rostoucí objemy dostupných dat a datových zdrojů, které jsou v podnikových aplikacích integrovány. Větší objemy a rozsáhlejší integrace představují více prostoru pro chyby, a rovněž složitější cestu k pochopení všech souvislostí. Současným trendem je i rozsáhlejší technologický stack (portfolio), tzn. využívání specializovanějších nástrojů na specifiké úlohy a jejich následná integrace. Dalším spouštěčem jsou regulace, které organizacím přikazují mít v datech pořádek a zavedené procesy pro zákonné nakládání s nimi (zejména GDPR). Častým problémem nejen ve velkých korporacích jsou i různé interpretace různých dat, metrik a podnikových pojmů v rámci společnosti, které motivují k zavádějí podnikových slovníků a katalogů.

Oblasti související s Data Governance

Podniková a datová strategie musejí být ve vzájemném souladu. Data Governance z datové strategie vychází a následně ji propojuje s Data Managementem.

Datová architektura představuje pohled na datové zdroje, databáze v informatice, jejich charakteristiky a hlavní vazby a zajišťuje jejich systematický rozvoj. Kvalitní popsaná a zdokumentovaná architektura je východiskem pro Data Governance a umožňuje naplno utilizovat moderní technologie pro naplnění cílů podnikové strategie. Datovou architekturu je nutno chápat nikoliv jako součást Data Governance, ale spíše jako úzce spřátelenou disciplínu, která na stejný problém nahlíží z více technologického pohledu. Obě disciplíny by se měly navzájem doplňovat a průběžně rozvíjet.

Oblasti Data Governance

Mezi oblasti Data Governance patří zavádění odpovědných osob a organizační struktury. Určitě už jste slyšeli minimálně o CDO, Data Owner, Data Steward… Jak tyhle role konkrétně nadefinovat a efektivně implementovat s rozumnou investicí do existující organizační struktury je na delší povídání :)

Master Management zajišťuje datovou kvalitu, unikátnost a aktuálnost záznamů v nejdůležitějších tabulkách tzv. kmenových dat, jako je zákazník, produkt, region apod., a to včetně integrity vzájemných vazeb a vazeb na transakční data. Někdy se také hovoří o vytváření tzv. Golden Record (zlatého záznamu).

Data Security Management je soubor nástrojů zajišťujících důvěrnost, dostupnost a integritu dat. Mezi oblasti, které nejvíce souvisejí s působností datových a BI týmů, patří především procesy zálohování a obnovy dat, řízení přístupu na úrovni datové integrace, analytické a vizualizační vrstvy, které může být navíc doplněno o monitorování neobvyklé aktivity. 

Data Quality Management je klíčový pro celkové vnímání a adopci analytických výstupů byznysovými uživateli, neboť jsou-li data zachycena chybně, nepřesně, nebo dodána pozdě, vytrácí se přidaná hodnota, využitelnost výstupů a důvěra uživatelů. Obzvláště s nárůstem objemu dat, častějšími změnami (ať už technologickými, architektonickými, procesními či jinými), vzestupem self-service BI (samoobslužným BI) a machine learning (strojovým učením) se pojí mnohem vyšší nároky na zajištění datové kvality napříč celou Data Pipeline.

Mezi Metadata Management nástroje patří slovníky a katalogy, které podporují porozumění podnikovým pojmům (včetně definice metrik) a efektivní vyhledávání informací. Pro analytiky a vývojáře jsou užitečné tzv. Data Discovery nástroje pro objevování datových zdrojů a porozumění jejich struktuře a způsobu využití. Konceptuální, logické a fyzické datové modely, procesní modely atd. pomáhají zachytit rostoucí komplexitu řešení. Data Lineage (mapa původu dat) využívá metadata například k zachycení informace o tom, kdy a jakým procesem byl záznam vytvořen, jak dlouho operace trvala, jaká data byla na vstupu a jaká na výstupu.

Knowledge and Collaboration Management je zpravidla realizován v podobě portálu, který shromažďuje výše zmiňované komponenty (například schémata, katalogy, slovníky, vyhledávač) a doplňuje je o další užitečné materiály přispívající k efektivitě týmu (například praktické ukázky kódu či tutoriály). Patří sem i nástroje pro komunikaci (například Slack, Trello) a nástroje podporující vývoj aplikací (například Gitlab).

Zapomněla jsem na něco? Chcete se na něco zeptat? Napište mi.