Řízení datové kvality: Data Governance | Mňamka #198

Data Governance se často používá jako buzzword. Pojďme se zkusit bavit konkrétně.

Co to je?

Data Governance je definována jako souhrn pravidel, procesů, podnikových pojmů, metrik, definic organizačních struktur a odpovědných osob pro řízení celého (tzv. end-to-end) životního cyklu dat v organizaci. Jinými slovy je to strategická správa dat - propojuje podnikovou strategii a data. Aktivity, které tuto strategickou rovinu implementují, se dají zaštítit pojmem Data Management.

Cíl

Cílem Data Governance je vytvoření dobře řiditelného, kontrolovaného a bezpečného prostředí pro operace s daty, které produkuje kvalitní a důvěryhodné výstupy pro podporu rozhodování organizace.

Proč se o tom teď tak mluví?

Za hybné síly vedoucí k zavádění DG v organizacích jsou považovány zejména rostoucí objemy dostupných dat a datových zdrojů, které jsou v podnikových aplikacích integrovány. Větší objemy a rozsáhlejší integrace představují více prostoru pro chyby, a rovněž složitější cestu k pochopení všech souvislostí. Současným trendem je i rozsáhlejší technologický stack (portfolio), tzn. využívání specializovanějších nástrojů na specifiké úlohy a jejich následná integrace. Dalším spouštěčem jsou regulace, které organizacím přikazují mít v datech pořádek a zavedené procesy pro zákonné nakládání s nimi (zejména GDPR). Častým problémem nejen ve velkých korporacích jsou i různé interpretace různých dat, metrik a podnikových pojmů v rámci společnosti, které motivují k zavádějí podnikových slovníků a katalogů.

Oblasti související s Data Governance

Podniková a datová strategie musejí být ve vzájemném souladu. Data Governance z datové strategie vychází a následně ji propojuje s Data Managementem.


Datová architektura představuje pohled na datové zdroje, databáze v informatice, jejich charakteristiky a hlavní vazby a zajišťuje jejich systematický rozvoj. Kvalitní popsaná a zdokumentovaná architektura je východiskem pro Data Governance a umožňuje naplno utilizovat moderní technologie pro naplnění cílů podnikové strategie. Datovou architekturu je nutno chápat nikoliv jako součást Data Governance, ale spíše jako úzce spřátelenou disciplínu, která na stejný problém nahlíží z více technologického pohledu. Obě disciplíny by se měly navzájem doplňovat a průběžně rozvíjet.

Data Governance je důležitá věc, nenechte ji na později. Ozvěte se hned! Rádi pomůžeme.

Oblasti Data Governance

Mezi oblasti Data Governance patří zavádění odpovědných osob a organizační struktury. Určitě už jste slyšeli minimálně o CDO, Data Owner, Data Steward… Jak tyhle role konkrétně nadefinovat a efektivně implementovat s rozumnou investicí do existující organizační struktury je na delší povídání :)

Master Management zajišťuje datovou kvalitu, unikátnost a aktuálnost záznamů v nejdůležitějších tabulkách tzv. kmenových dat, jako je zákazník, produkt, region apod., a to včetně integrity vzájemných vazeb a vazeb na transakční data. Někdy se také hovoří o vytváření tzv. Golden Record (zlatého záznamu).

Data Security Management je soubor nástrojů zajišťujících důvěrnost, dostupnost a integritu dat. Mezi oblasti, které nejvíce souvisejí s působností datových a BI týmů, patří především procesy zálohování a obnovy dat, řízení přístupu na úrovni datové integrace, analytické a vizualizační vrstvy, které může být navíc doplněno o monitorování neobvyklé aktivity. 

Data Quality Management je klíčový pro celkové vnímání a adopci analytických výstupů byznysovými uživateli, neboť jsou-li data zachycena chybně, nepřesně, nebo dodána pozdě, vytrácí se přidaná hodnota, využitelnost výstupů a důvěra uživatelů. Obzvláště s nárůstem objemu dat, častějšími změnami (ať už technologickými, architektonickými, procesními či jinými), vzestupem self-service BI (samoobslužným BI) a machine learning (strojovým učením) se pojí mnohem vyšší nároky na zajištění datové kvality napříč celou Data Pipeline.

Mezi Metadata Management nástroje patří slovníky a katalogy, které podporují porozumění podnikovým pojmům (včetně definice metrik) a efektivní vyhledávání informací. Pro analytiky a vývojáře jsou užitečné tzv. Data Discovery nástroje pro objevování datových zdrojů a porozumění jejich struktuře a způsobu využití. Konceptuální, logické a fyzické datové modely, procesní modely atd. pomáhají zachytit rostoucí komplexitu řešení. Data Lineage (mapa původu dat) využívá metadata například k zachycení informace o tom, kdy a jakým procesem byl záznam vytvořen, jak dlouho operace trvala, jaká data byla na vstupu a jaká na výstupu.

Knowledge and Collaboration Management je zpravidla realizován v podobě portálu, který shromažďuje výše zmiňované komponenty (například schémata, katalogy, slovníky, vyhledávač) a doplňuje je o další užitečné materiály přispívající k efektivitě týmu (například praktické ukázky kódu či tutoriály). Patří sem i nástroje pro komunikaci (například Slack, Trello) a nástroje podporující vývoj aplikací (například Gitlab).

Zapomněla jsem na něco? Chcete se na něco zeptat? Napište mi. 

Verča

Veronika Špryslová
datový detektiv
LinkedIn

Power BI Bookmarks II. – tvorba filtrovacího panelu | Mňamka #385

Power BI Bookmarks II. – tvorba filtrovacího panelu | Mňamka #385

Jak si v Power BI vytvořit záložky? Máme tady pokračování naší krátké minisérie o záložkách od Terky. V minulém díle jsme si udělali generální úklid v sekci Selection a dnes už se tak konečně můžeme pustit do samotné tvorby záložek. Vše si přitom demonstrujeme pěkně krok po kroku na jednoduchém příkladu tvorby filtrovacího panelu, který se na stránce zobrazí při stisku ikony filtru. Další praktické příklady si pak ukážeme v závěrečném díle našeho průvodce po záložkách, kde se zároveň podíváme i na jejich limity a omezení. Tak jdeme na to!

Code review – proč jej děláme a proč je důležité? | Mňamka #382

Code review – proč jej děláme a proč je důležité? | Mňamka #382

Pro někoho je code review neboli kontrola změn kódu zbytečnost, která jen zpomaluje práci na projektu. Pro nás je to ale základní součást firemních good practices. Jedině tak si totiž můžeme být jisti, že se do produkčního kódu nedostanou chyby. Správně nastavený proces code review vedle toho ale také podporuje týmovou spolupráci a zastupitelnost na projektech. I sebelepší kód vám je totiž k ničemu, když mu rozumí jen jediný člověk. Podívejte se proto, jak takové code review v BizzTreat vypadá!

Power BI Bookmarks I. – základní principy | Mňamka #379

Power BI Bookmarks I. – základní principy | Mňamka #379

Chcete si jednoduše přizpůsobit vizuály v Power BI podle svých aktuálních potřeb? Například si stejná data zobrazit v tabulce nebo ve sloupcovém grafu, podle toho, co vám zrovna více vyhovuje? Tak to jste na správném místě. Terka pro vás sepsala krátkou minisérii o záložkách neboli bookmarks, které vám právě takovou interaktivitu reportů v Power BI umožňují. V prvním díle si nejprve osvětlíme základní principy fungování záložek a poté si ukážeme, jak udělat generální úklid okna „selection“.