Keboola transformace – v hlavní roli proměnné | Mňamka #432
V BizzTreatu se staráme o jeden parádní projekt, který musíme udržovat téměř identický pro více regionálních mutací. Jádro nápočtů tak zůstává stejné, ale občas se liší důležité parametry, které jsou specifické pro danou zemi. Jak to řešíme? Od hardcodění jsme se přesunuli k hojnému využívání proměnných, které nám dodávají potřebný manipulační prostor a zároveň nám usnadňují správu kódu.
Proměnné v Keboole
Při práci v SQL transformacích v Keboole můžeme narazit na dva typy proměnných - ty keboolácké a ty snowflakové. Pojďme se na ně podívat.
Keboola proměnné
Proměnné definované v části předcházejícím bloku transformací nejsou vázané na kód transformací samotný. V praxi to znamená, že se nechovají přesně jako proměnné SQL nebo Pythonu - transformační proměnné jsou vyhodnoceny a definovány už před spuštěním transformace a jsou platné pro celou dobu běhu jobu dané konfigurace.
Pro zápis využívají moustache variable syntax a definují se v bloku “Variables” předcházejícím script samotný a následně se v kódu vkládá název proměnné do dvojitých složených závorek . Více v Keboola dokumentaci.

Samozřejmě záleží, jakou hodnotu potřebujete vložit do proměnné, ale odpovídá to běžné SQL syntaxi - stringy v jednoduchých uvozovkách, integery bez, pokud potřebujete vložit seznam hodnot, tak se vkládá jako [value1,value2] (tj. bez jednoduchých uvozovek a mezer).

Snowflake proměnné
Tento druhý typ proměnných se definuje přímo v kódu a díky tomu také zůstává jeho součástí a platí po dobu celého jobu, kdy běží transformace. Best practice je nadefinovat si je na začátku kódu, ideálně, pokud je využíváte napříč celým Keboola projektem, tak využít i shared code. Takto definované proměnné se pak v kódu používají předsazené znakem dolaru $ .

Co, kdy a jak používat?
Pro co nejpohodlnější vývoj je ideální použít kombinaci zmíněných proměnných. Pokud si totiž nejdřív nadefinujete Keboola proměnné v záhlaví transformací a pak hned v úvodním bloku si je převedete na Snowflake proměnné, tak při zkopírování celé transformace do vývojového workspace stačí vyplnit hodnoty proměnných pouze na jednom místě, a ne na všech možných i nemožných místech, kam jste v rámci vývoje danou proměnnou umístili. Je to funkční, praktické a elegantní.
Jak na to krok za krokem?
- definovat proměnné v KBC transformaci (tj. v části “Variables”)
- pomocí SET přiřadit hodnotu Keboola proměnné Snowflake proměnné
- používat Snowflake proměnnou v kódu

Nic ovšem není dokonalé - proměnné ve Snowflake jsou limitované. Jak praví Snowflake dokumentace - maximální velikost proměnné je limitována na 256 bytes. Pokud tedy potřebujete využít proměnné delší než 256 bytes, tak musíte zůstat u KBC proměnných, které omezené nejsou.

Tím se pak snadno můžete dostat do situace, kdy v KBC budete mít jako proměnnou definovaný dlouhý seznam hodnot. Co s tím pak ve Snowflake?
- KBC proměnnou definovat jako seznam v hranatých závorkách, bez uvozovek kolem hodnot, bez mezer, pouze oddělit čárkami
</> paid_subscription_type ([ value1,value2,value3,value4,value5 ])
- na začátku kódu definovat SQL proměnnou pomocí SET
SET paid_subscription_type = ''
- v kódu je pak nutné parsovat pomocí:
(SELECT VALUE FROM TABLE(FLATTEN(INPUT => PARSE_JSON($paid_subscription_type))))
Podrobný návod pak najdete na Snowflake forum.

Tak, a to je celé. Pokud máte projekt takto pěkně uklizený, tak pak už není problém dosadit do připravené struktury nové proměnné unikátní pro sesterský projekt a ušetřený čas můžete strávit třeba u kafe. ;)
Pandas – k čemu slouží, k čemu jej raději nepoužijeme a jeho alternativy | Mňamka #435
Pandas je jednou z nejpoužívanějších knihoven pro zpracování dat v jazyce Python. Jeho největší předností je zejména jednoduchá a intuitivní syntaxe a také rychlost, se kterou můžete zpracovávat velké datové soubory. V BizzTreatu ho proto často využíváme např. pro ad hoc analýzy dat, kdy potřebujeme rychle prozkoumat, jak data vlastně vypadají a jaká je jejich kvalita. V dnešní mňamce od Báry si ukážeme, kde všude lze Pandas použít a jak si stojí v porovnání s ostatními knihovnami!
MAQL I. - MAQL vs SQL | Mňamka #427
SQL dozajista velmi dobře znáte, jak jste na tom ale s takovým MAQL? Pokud si chcete rozšířit obzory o další dotazovací jazyk, tak to jste na správném místě. MAQL je uživatelsky přívětivý jazyk, se kterým se můžete setkat při práci v GoodData, a naše Péťa si o něm připravila krátkou minisérii. A hned v prvním díle tu máme malé srovnání pro všechny zaryté fanoušky SQLka. Ukážeme si totiž, k čemu vám může být MAQL užitečný a kolik práce vám díky předdefinovaným operacím ušetří. Tak pojďme na to!
Terraform – Nejlepší přítel infrastruktury | Mňamka #424
Terraform. Tento superhrdina správy infrastruktury je skvělý pomocník, bez kterého bychom se v BizzTreatu už jen stěží obešli. S jeho pomocí totiž můžete konzistentním a automatizovaným způsobem definovat jednotlivé součásti vaší infrastruktury a zcela se tak vyhnout chaosu ručních aktualizací a škálovacích bitev. V dnešní mňamce od Michala si na zjednodušeném příkladu vytvoření nového virtuálního počítače v cloudu ukážeme, jak Terraform v praxi vlastně funguje!