Nový způsob transformace dat: Co to je dbt | Mňamka #129

Máme technologie, které milujeme, máme je odzkoušené a umíme je. To ale rozhodně neznamená, že stále netestujeme nové. A tak jsme narazili na dbt (Data Build Tool) - open source, který nás hodně baví.

Než si řekneme víc, pojďme o krok zpět. Máme data ve zdrojových systémech a ve finále se na ně potřebujeme koukat třeba v nějakém vizualizačním nástroji. Ale než se podíváme na pěkný grafíky a rozjedeme naplno business intelligence, musíme ujít ještě dlouhou cestu (který datový analytik by neznal, že...). No a ta cesta je zjednodušeně v zásadě dvojí. Buď si data vezmeme ze zdrojového systému (extract), cestou v nich uklidíme  (transform) a upravené je natáhneme do cíle (třeba cílový data warehouse) = ETL (na to se dá využít například nástroj Keboola nebo si to můžeme postavit na cloudových službách), nebo je ze zdrojového systému vytáhneme tak jak jsou a ten úklid děláme až v cíli, plus často až když je potřeba = ELT.

Co to je dbt?

Je to nástroj, který se v ELT stará o to “T”. Základem je projekt, který se konfiguruje sadou YAML souborů a SQL souborů s makry.
 

Zdroj obrázku: https://blog.getdbt.com/what--exactly--is-dbt-/

V čem je jeho kouzlo?


Tím, že dbt podporuje makra v SQL spojuje silu skriptovacího jazyka Python a SQL. Umožňuje používat cykly pro generování SQL, takže minimalizuje kopírování kóduAutomatické testování - stačí popsat, jak mají vypadat data, která vystupují z transformace, a dbt se postará o to, že to tak fakt je. 
 

Prostě kouzlo dbt je v tom, že k tomu “T” přistupuje tak, že se snaží usnadňovat věci, který jsou často třeba a je nutný je řešit opakováním kódu, případně kódem, kterej je náchylnej k chybám. V případě, že se něco změní v datech, transformace s dbt se dají napsat tak, že to dbt buď pozná a řekne, že je něco špatně, nebo na to bude připravený a zařídí, že se nestane nic špatného.

A mimojiné - je to opensource s velmi snadnou instalací. Správa kódu v gitu, která podporuje CI/CD principy a spolupráci týmu na projektu. Dá se integrovat do existující pipeline, de facto poběží všude, kde běží Python.

Za nás je to pecka. Chcete vědět víc? Mrkněte výše na Tomovo video. 

Zapomněla jsem na něco? Chcete se na něco zeptat? Napište mi. 

Eva

Eva Hankusová
detektiv nových příležitostí
LinkedIn

Jak ohodnotit lokalitu: Data vs. Pocity | Mňamka #523

Jak ohodnotit lokalitu: Data vs. Pocity | Mňamka #523

V dnešním dynamickém světě se může zdát, že rozhodování o tom, kde otevřít další pobočku, je náročné, a že v něm hraje roli až příliš mnoho faktorů. Často kladené dotazy, které dostáváme, se točí kolem hodnocení potenciálu konkrétních lokalit. V tomto článku vám ukážeme, jak Location Intelligence může poskytnout přesné odpovědi na vaše otázky a zajistit, že vaše rozhodnutí budou založena na datech a faktech, nikoli na pocitech a zdánlivé atraktivitě místa.

 Rychlý porovnání: dbt cloud vs dbt core | Mňamka #522

Rychlý porovnání: dbt cloud vs dbt core | Mňamka #522

Data Build Tool, běžně známý jako dbt, se stal klíčovým prvkem v moderním datovém ekosystému. Jako kompilátor analytického SQL pomáhá dbt profesionálům z oblasti datové analýzy přeměnit surová data v datovém skladu na použitelné poznatky. Tento článek poskytne srovnání dvou klíčových nabídek: dbt Core a dbt Cloud.

Jak správně představit svůj daty podložený příběh?| Mňamka #521

Jak správně představit svůj daty podložený příběh?| Mňamka #521

Jak dostat cenné poznatky z obrovského množství dat a  informací?  Co dělat poté, co jste provedli analýzu a identifikovali významný trend? Jak efektivně sdílet tyto poznatky s ostatními? Kdo je vaše cílové publikum? Dalším a možná nejdůležitějším krokem je vyprávění.