Nový způsob transformace dat: Co to je dbt | Mňamka #129

Máme technologie, které milujeme, máme je odzkoušené a umíme je. To ale rozhodně neznamená, že stále netestujeme nové. A tak jsme narazili na dbt (Data Build Tool) - open source, který nás hodně baví.

Než si řekneme víc, pojďme o krok zpět. Máme data ve zdrojových systémech a ve finále se na ně potřebujeme koukat třeba v nějakém vizualizačním nástroji. Ale než se podíváme na pěkný grafíky a rozjedeme naplno business intelligence, musíme ujít ještě dlouhou cestu (který datový analytik by neznal, že...). No a ta cesta je zjednodušeně v zásadě dvojí. Buď si data vezmeme ze zdrojového systému (extract), cestou v nich uklidíme  (transform) a upravené je natáhneme do cíle (třeba cílový data warehouse) = ETL (na to se dá využít například nástroj Keboola nebo si to můžeme postavit na cloudových službách), nebo je ze zdrojového systému vytáhneme tak jak jsou a ten úklid děláme až v cíli, plus často až když je potřeba = ELT.

Co to je dbt?

Je to nástroj, který se v ELT stará o to “T”. Základem je projekt, který se konfiguruje sadou YAML souborů a SQL souborů s makry.
 

Zdroj obrázku: https://blog.getdbt.com/what--exactly--is-dbt-/

V čem je jeho kouzlo?


Tím, že dbt podporuje makra v SQL spojuje silu skriptovacího jazyka Python a SQL. Umožňuje používat cykly pro generování SQL, takže minimalizuje kopírování kóduAutomatické testování - stačí popsat, jak mají vypadat data, která vystupují z transformace, a dbt se postará o to, že to tak fakt je. 
 

Prostě kouzlo dbt je v tom, že k tomu “T” přistupuje tak, že se snaží usnadňovat věci, který jsou často třeba a je nutný je řešit opakováním kódu, případně kódem, kterej je náchylnej k chybám. V případě, že se něco změní v datech, transformace s dbt se dají napsat tak, že to dbt buď pozná a řekne, že je něco špatně, nebo na to bude připravený a zařídí, že se nestane nic špatného.

A mimojiné - je to opensource s velmi snadnou instalací. Správa kódu v gitu, která podporuje CI/CD principy a spolupráci týmu na projektu. Dá se integrovat do existující pipeline, de facto poběží všude, kde běží Python.

Za nás je to pecka. Chcete vědět víc? Mrkněte výše na Tomovo video. 

Zapomněla jsem na něco? Chcete se na něco zeptat? Napište mi. 

Eva

Eva Hankusová
detektiv nových příležitostí
LinkedIn

GoodData Cloud aneb mladší sestřička GoodData Platformy | Mňamka #537

GoodData Cloud aneb mladší sestřička GoodData Platformy | Mňamka #537

GoodData Platform už pravděpodobně znáte, ale pokud ne, můžete to vždycky dohnat v našich již existujících článcích. Třeba tady(odkaz) nebo tady(odkaz). Dnes bych vám ráda představila produkt, který není na trhu tak dlouho, ale určitě stojí za to o něm vědět víc. To, že je GoodData Cloud mladší sestřičkou naší staré dobré GoodData Platformy, není žádným tajemstvím, ale jak se jí daří vyrovnat se svojí starší sestře? Co nového vám může nová verze nabídnout? Co mají tyhle dvě společné a v čem si jsou naopak cizí? Tohle vám zkusím v dnešní BizztroMňamce přiblížit.

Proč (ne)integrovat ERP přímo s Power BI a zapojit datový sklad?| Mňamka #536

Proč (ne)integrovat ERP přímo s Power BI a zapojit datový sklad?| Mňamka #536

Napojení ERP přímo na Power BI je často prvním krokem, kterým firmy začínají svou datovou cestu – rychlé, levné a snadno dosažitelné řešení. Z dlouhodobého hlediska však toto přímé propojení přináší řadu limitů, které mohou bránit rozvoji datové analytiky a snižovat přidanou hodnotu pro byznys. V tomto článku se dozvíte, proč je důležité uvažovat o koncepčním řešení v podobě datového skladu, jaký přínos může mít centralizace dat a kdy je správný čas posunout se k robustnější datové infrastruktuře.

Klíčové ukazatele výkonnosti (KPI): Jak je správně nastavit a efektivně vyhodnotit pomocí business intelligence | Mňamka #534

Klíčové ukazatele výkonnosti (KPI): Jak je správně nastavit a efektivně vyhodnotit pomocí business intelligence | Mňamka #534

Jak efektivně řídit růst a sledovat dosažení cílů? Jak klíčové ukazatele výkonnosti (KPI) pomáhají firmám zlepšovat výkon a naplňovat strategické záměry?V článku najdete příklady KPI pro oblasti jako finance, marketing, zákaznický servis, výroba, lidské zdroje a IT, včetně praktických příkladů jejich využití. Zjistěte, jak zavést a sledovat KPI, abyste získali lepší přehled o efektivitě klíčových procesů.