Nový způsob transformace dat: Co to je dbt | Mňamka #129

Máme technologie, které milujeme, máme je odzkoušené a umíme je. To ale rozhodně neznamená, že stále netestujeme nové. A tak jsme narazili na dbt (Data Build Tool) - open source, který nás hodně baví.

Než si řekneme víc, pojďme o krok zpět. Máme data ve zdrojových systémech a ve finále se na ně potřebujeme koukat třeba v nějakém vizualizačním nástroji. Ale než se podíváme na pěkný grafíky a rozjedeme naplno business intelligence, musíme ujít ještě dlouhou cestu (který datový analytik by neznal, že...). No a ta cesta je zjednodušeně v zásadě dvojí. Buď si data vezmeme ze zdrojového systému (extract), cestou v nich uklidíme  (transform) a upravené je natáhneme do cíle (třeba cílový data warehouse) = ETL (na to se dá využít například nástroj Keboola nebo si to můžeme postavit na cloudových službách), nebo je ze zdrojového systému vytáhneme tak jak jsou a ten úklid děláme až v cíli, plus často až když je potřeba = ELT.

Co to je dbt?

Je to nástroj, který se v ELT stará o to “T”. Základem je projekt, který se konfiguruje sadou YAML souborů a SQL souborů s makry.
 

Zdroj obrázku: https://blog.getdbt.com/what--exactly--is-dbt-/

V čem je jeho kouzlo?


Tím, že dbt podporuje makra v SQL spojuje silu skriptovacího jazyka Python a SQL. Umožňuje používat cykly pro generování SQL, takže minimalizuje kopírování kóduAutomatické testování - stačí popsat, jak mají vypadat data, která vystupují z transformace, a dbt se postará o to, že to tak fakt je. 
 

Prostě kouzlo dbt je v tom, že k tomu “T” přistupuje tak, že se snaží usnadňovat věci, který jsou často třeba a je nutný je řešit opakováním kódu, případně kódem, kterej je náchylnej k chybám. V případě, že se něco změní v datech, transformace s dbt se dají napsat tak, že to dbt buď pozná a řekne, že je něco špatně, nebo na to bude připravený a zařídí, že se nestane nic špatného.

A mimojiné - je to opensource s velmi snadnou instalací. Správa kódu v gitu, která podporuje CI/CD principy a spolupráci týmu na projektu. Dá se integrovat do existující pipeline, de facto poběží všude, kde běží Python.

Za nás je to pecka. Chcete vědět víc? Mrkněte výše na Tomovo video. 

Zapomněla jsem na něco? Chcete se na něco zeptat? Napište mi. 

Eva

Eva Hankusová
detektiv nových příležitostí
LinkedIn

Jak datová analytika mění fotbal | Mňamka #397

Jak datová analytika mění fotbal | Mňamka #397

Datová analytika už je všudypřítomná, a to i na moderních fotbalových hřištích. Možná jste si také všimli, že ještě zhruba před 10 lety stříleli hráči napříč všemi ligami na branku z mnohem větší vzdálenosti, než je běžné dnes. Co stálo za touto změnou? No samozřejmě, že data. Fotbalové týmy sbírají obrovské množství dat a díky tomu tak už v dnešní době naprosto přesně vědí, jaká je šance na vstřelení gólu z jakékoliv pozice na hřišti. Přečtěte si článek z Nature o tom, jak data mění svět fotbalu!

Data-driven firmy v roce 2023 | Mňamka #396

Data-driven firmy v roce 2023 | Mňamka #396

Většina firem v letošním roce na cestě stát se data-driven příliš nepokročila. Například podle nedávného průzkumu agentury Forrester pouze 48 % dotázaných firem činilo rozhodnutí na bázi kvantitativní analýzy. Zbytek se tak stále ještě rozhoduje spíše podle intuice. Právě v tomto ohledu by ale v roce 2023 mohly nastat velké změny. Zvláště v časech ekonomické nejistoty je totiž naprosto klíčové činit taková rozhodnutí, která vaši firmu nasměrují na růstovou trajektorii. Podívejte se proto na 5 pragmatických kroků, které můžete učinit i vy!

Před a po – datová edice | Mňamka #395

Před a po – datová edice | Mňamka #395

Většina grafů a dashboardů začíná svůj život v celkem jednoduché a přehledné formě. Všichni se v nich tak snadno orientují a mohou se na jejich základě i rychle rozhodovat. Pak to ale začne – proces postupného nabalování. S každým dalším meetingem přicházejí nové požadavky na to, co všechno je potřeba doplnit a vylepšit. Takhle to pokračuje tak dlouho, až jednoho krásného dne koukáte na report a není vám vůbec jasné, co si z něj máte vlastně odnést. Pokud vám tohle zní povědomě, podívejte se, jak z toho ven!