Řízení datové kvality: Data Governance | Mňamka #198
Data Governance se často používá jako buzzword. Pojďme se zkusit bavit konkrétně.
Co to je?
Data Governance je definována jako souhrn pravidel, procesů, podnikových pojmů, metrik, definic organizačních struktur a odpovědných osob pro řízení celého (tzv. end-to-end) životního cyklu dat v organizaci. Jinými slovy je to strategická správa dat - propojuje podnikovou strategii a data. Aktivity, které tuto strategickou rovinu implementují, se dají zaštítit pojmem Data Management.
Cíl
Cílem Data Governance je vytvoření dobře řiditelného, kontrolovaného a bezpečného prostředí pro operace s daty, které produkuje kvalitní a důvěryhodné výstupy pro podporu rozhodování organizace.
Proč se o tom teď tak mluví?
Za hybné síly vedoucí k zavádění DG v organizacích jsou považovány zejména rostoucí objemy dostupných dat a datových zdrojů, které jsou v podnikových aplikacích integrovány. Větší objemy a rozsáhlejší integrace představují více prostoru pro chyby, a rovněž složitější cestu k pochopení všech souvislostí. Současným trendem je i rozsáhlejší technologický stack (portfolio), tzn. využívání specializovanějších nástrojů na specifiké úlohy a jejich následná integrace. Dalším spouštěčem jsou regulace, které organizacím přikazují mít v datech pořádek a zavedené procesy pro zákonné nakládání s nimi (zejména GDPR). Častým problémem nejen ve velkých korporacích jsou i různé interpretace různých dat, metrik a podnikových pojmů v rámci společnosti, které motivují k zavádějí podnikových slovníků a katalogů.
Oblasti související s Data Governance
Podniková a datová strategie musejí být ve vzájemném souladu. Data Governance z datové strategie vychází a následně ji propojuje s Data Managementem.
Datová architektura představuje pohled na datové zdroje, databáze v informatice, jejich charakteristiky a hlavní vazby a zajišťuje jejich systematický rozvoj. Kvalitní popsaná a zdokumentovaná architektura je východiskem pro Data Governance a umožňuje naplno utilizovat moderní technologie pro naplnění cílů podnikové strategie. Datovou architekturu je nutno chápat nikoliv jako součást Data Governance, ale spíše jako úzce spřátelenou disciplínu, která na stejný problém nahlíží z více technologického pohledu. Obě disciplíny by se měly navzájem doplňovat a průběžně rozvíjet.
Data Governance je důležitá věc, nenechte ji na později. Ozvěte se hned! Rádi pomůžeme.
Oblasti Data Governance
Mezi oblasti Data Governance patří zavádění odpovědných osob a organizační struktury. Určitě už jste slyšeli minimálně o CDO, Data Owner, Data Steward… Jak tyhle role konkrétně nadefinovat a efektivně implementovat s rozumnou investicí do existující organizační struktury je na delší povídání :)
Master Management zajišťuje datovou kvalitu, unikátnost a aktuálnost záznamů v nejdůležitějších tabulkách tzv. kmenových dat, jako je zákazník, produkt, region apod., a to včetně integrity vzájemných vazeb a vazeb na transakční data. Někdy se také hovoří o vytváření tzv. Golden Record (zlatého záznamu).
Data Security Management je soubor nástrojů zajišťujících důvěrnost, dostupnost a integritu dat. Mezi oblasti, které nejvíce souvisejí s působností datových a BI týmů, patří především procesy zálohování a obnovy dat, řízení přístupu na úrovni datové integrace, analytické a vizualizační vrstvy, které může být navíc doplněno o monitorování neobvyklé aktivity.
Data Quality Management je klíčový pro celkové vnímání a adopci analytických výstupů byznysovými uživateli, neboť jsou-li data zachycena chybně, nepřesně, nebo dodána pozdě, vytrácí se přidaná hodnota, využitelnost výstupů a důvěra uživatelů. Obzvláště s nárůstem objemu dat, častějšími změnami (ať už technologickými, architektonickými, procesními či jinými), vzestupem self-service BI (samoobslužným BI) a machine learning (strojovým učením) se pojí mnohem vyšší nároky na zajištění datové kvality napříč celou Data Pipeline.
Mezi Metadata Management nástroje patří slovníky a katalogy, které podporují porozumění podnikovým pojmům (včetně definice metrik) a efektivní vyhledávání informací. Pro analytiky a vývojáře jsou užitečné tzv. Data Discovery nástroje pro objevování datových zdrojů a porozumění jejich struktuře a způsobu využití. Konceptuální, logické a fyzické datové modely, procesní modely atd. pomáhají zachytit rostoucí komplexitu řešení. Data Lineage (mapa původu dat) využívá metadata například k zachycení informace o tom, kdy a jakým procesem byl záznam vytvořen, jak dlouho operace trvala, jaká data byla na vstupu a jaká na výstupu.
Knowledge and Collaboration Management je zpravidla realizován v podobě portálu, který shromažďuje výše zmiňované komponenty (například schémata, katalogy, slovníky, vyhledávač) a doplňuje je o další užitečné materiály přispívající k efektivitě týmu (například praktické ukázky kódu či tutoriály). Patří sem i nástroje pro komunikaci (například Slack, Trello) a nástroje podporující vývoj aplikací (například Gitlab).
Zapomněla jsem na něco? Chcete se na něco zeptat? Napište mi.
Verča
Pandas – k čemu slouží, k čemu jej raději nepoužijeme a jeho alternativy | Mňamka #435
Pandas je jednou z nejpoužívanějších knihoven pro zpracování dat v jazyce Python. Jeho největší předností je zejména jednoduchá a intuitivní syntaxe a také rychlost, se kterou můžete zpracovávat velké datové soubory. V BizzTreatu ho proto často využíváme např. pro ad hoc analýzy dat, kdy potřebujeme rychle prozkoumat, jak data vlastně vypadají a jaká je jejich kvalita. V dnešní mňamce od Báry si ukážeme, kde všude lze Pandas použít a jak si stojí v porovnání s ostatními knihovnami!
Keboola transformace – v hlavní roli proměnné | Mňamka #432
Co dělat, když se váš projekt liší jen v několika důležitých parametrech? No mohli byste samozřejmě všechno hardkódovat, to je ale značně pracné. V BizzTreatu proto raději dáváme přednost hojnému využívání proměnných. Jednak se s nimi lépe pracuje a zároveň nám usnadňují následnou správu kódu. V Keboola transformacích přitom máme hned dva typy proměnných – ty keboolácké a ty snowflakové. V dnešní mňamce od Kristýny si ukážeme, jaký je mezi nimi rozdíl a kdy a jak je používat!
MAQL I. - MAQL vs SQL | Mňamka #427
SQL dozajista velmi dobře znáte, jak jste na tom ale s takovým MAQL? Pokud si chcete rozšířit obzory o další dotazovací jazyk, tak to jste na správném místě. MAQL je uživatelsky přívětivý jazyk, se kterým se můžete setkat při práci v GoodData, a naše Péťa si o něm připravila krátkou minisérii. A hned v prvním díle tu máme malé srovnání pro všechny zaryté fanoušky SQLka. Ukážeme si totiž, k čemu vám může být MAQL užitečný a kolik práce vám díky předdefinovaným operacím ušetří. Tak pojďme na to!