Životní cyklus dat a proč nic nevynechat | Mňamka #106
Často na prvních schůzkách slýcháme větu: “Tady mám vyexportovaný excel s účetnictvím a potřebuju ho napojit na GoodData…”.
Tak jako asi by to nějak teoreticky šlo, ale dnes se vám pokusím ukázat, proč to takto vlastně dělat nechcete...
A začneme u toho, co se s našimi daty děje celou tou dlouhou cestou od vzniku někde ve zdrojovém systému (účetní systém, FB, Hubspot,….) až po to, kdy koukáte na graf na vaší obrazovce počítače.

Vysypeme data z krabic
Extrakce ze zdrojových systémů nebo také jednoduše - získávání dat. Tak jak si to vlastně představit. Pravděpodobně máte někde uloženy nebo sbíráte informace o zákaznících (Hubspot), o účetnictví (Pohoda) nebo třeba o logistice (SAP) atd…Těmto všem “krabicím” říkáme zdrojové systémy. V nich mají vaše data nějakou strukturu, čistotu a kvalitu. Jsem přesvědčená o tom, že velké procento z nich nebude v pořádku. Co tím myslím? Do vašich krabic vkládají data pravděpodobně lidé, takže budou plné překlepů, mezer, špatných datových typů nebo budou rovnou chybět úplně.
A tady máme první “proč nic nevynechat”. Představte si, že si stáhnete třeba CSV s daty vašich zákazníků a nahrajete do GoodData. Po chvíli budete překvapeni, že vidíte špatná čísla, často i úplné nesmysly a nejde vám vytvořit žádná kloudná vizualizace. Ano, je to proto, že se v datech vyskytují chyby, špatné datové typy nebo chybí údaje - prostě s tímhle si vizualizační nástroj neporadí. Pokud nechcete vymazávat mezery ve všech řádcích ručně, potřebujete data vyčistit. A pokud se chcete dozvědět i něco navíc, musíte obohacovat.

Data vyčistíme, propojíme a obohatíme
Abychom s daty mohli pracovat, potřebujeme je dostat ze zdrojového systému, protože v nich SQL v drtivé většině nepoužijeme. Mají prostě jiný účel než je hrát si s daty. Cílem je je dostat někam, kde s nimi můžeme pracovat, kde je můžeme očistit, aby byla stravitelná k dalšímu použití. Třeba je i rovnou lépe strukturujeme. A taky je propojíme a obohatíme. A tady máme druhé“proč nic nevynechat”. Představte si, že chcete vědět nejen informace o zákazníkovi, ale i kolik průměrně utratil za poslední měsíc nebo kdy udělal poslední objednávku. Ano, všechny informace někde máte, ovšem pokaždé v jiné “krabici”. Propojením získáte úplně nové informace, úplně jinou odpověď na vaši business otázku.
Jednoho dne tedy přijde chvíle, kdy budeme potřebovat data ze zdrojových systémů získat a vylít na jednu hromadu tak, jak jsou (tomu říkáme Raw Stage). To jakým způsobem pak jednotlivé fáze probíhají je otázka, existují dva základní přístupy ETL (extract - transform - load) a ELT (extract - load - transform). Jak to třeba řešíme my pomocí cloudových služeb se můžete podívat na tomto videu.
Nedávno jsme v této souvisloti narazili na technologii dbt - data built tool a se k tomu snad jen říct, že tuhle pecku si žádný analytik nesmí nechat ujíst. Je to nástroj (opensource), který se v ETL stará o to “T”. Základem je projekt, který se konfiguruje sadou YAML souborů a SQL souborů s makry. Řekla bych, že jde o nový způsob tranformace dat.
Nad vyčištěnými daty se pak dělají všechny ty vizualizace, predikce, ML atd.
Data máme na jedné hromadě
Je vlastně potřeba vzít nějakou jinou, pro naše účely vhodnou, krabici a data z našich původních krabic mít tam. A tady to zase může být různé - někdy máme všechna data na hromadě, často ale máme na hromadě jen ta data, která potřebujeme k našich analýzám. Někdy tam máme i historii, někdy ne… Prostě co use case, to případ. My pro tyhle potřeby využíváme cloudových služeb (Google Cloud Platform / Amazon AWS / MS Azure) - jsou bezpečné a hlavně platíte jen za data co máte a využíváte. Pro ukládání dat pak využíváme jejich analytické databáze - Google BigQuery, Amazon Redshift, Azure Synapse a nebo taky oblíbený Snowflake. Jaké jsou mezi nimi rozdíly krásně shrnul Radovan na našem blogu.
Konečně to vidíme
Hurá! Špička ledovce! To je to, co zajímá business, ne ty týdny práce pod tím :-) Takže, data získáváme ze zdrojových systémů, čistíme, obohacujeme, spojujeme a ukládáme do různých vrstev nebo struktur k následné konzumaci. Klasická konzumace v business intelligence světě je pomocí vizualizačních nástrojů - my máme rádi v podstatě čtyři (v odkazech najdete jejich srovnání, jejich užití) - Tableau, PowerBI, GoodData a CleverMaps. Pokud máte dobré a pevné základy, vizualizační nástroje fungují rychle a vy konečně vidíte ta správná čísla. A pokud vás zajímá, jak by měla taková vizualizace vypadat a jaká by se měla dodržovat pravidla, mrkněte třeba na naše články: 8 chyb při zadávání dashboardu, Data Storytelling nebo Barevný svět Business Intelligence.
Ještě zmíním jeden případ. Představte si, že výstup není vizualizace, ale třeba data pro call centrum, která se jim zobrazují v jejich systému. Získají tak třeba kompletní obrázek o zákazníkovi, o jeho životním cyklu, objednávkách atd. A teď si představte situaci, že se během hovoru operátorka dozví, že zákazník má novou informaci. Operátorka tedy do systému ručně napíše informaci XY - tím se software call centra stává datovým zdrojem a tato informace putuje do RAW stage, kde se s ní bude může dále pracovat.
Takže, co z toho plyne
Ano, jsou případy, kdy se můžete na svá data podívat přímo ve vizualizačním nástroji. Když pominu tu manuální práci s tím, tak se hlavně vystavujete riziku nekvalitních dat a přicházíte o nové pohledy a informace.
Zapomněla jsem na něco? Chcete se na něco zeptat? Napište mi.
Eva
Jak na pavučinové grafy | Mňamka #437
Pavučinové (neboli paprskové) grafy patří k nejimpozantnějším grafům, se kterými se v moderních byznysových vizualizacích můžete setkat. Hodí se např. k porovnání dvou produktů na základě široké škály různých ukazatelů. Nebo jsou hojně využívány ve sportovní analytice ke komparativnímu srovnání výkonů jednotlivých hráčů. Pro nezasvěcené publikum ale mohou být jen obtížně stravitelné. Dnes si proto ukážeme, jakých zásad se při vytváření pavučinových grafů držet a jak se v nich co nejlépe orientovat!
5 mýtů o cloudu | Mňamka #436
Řešit data v cloudu dává smysl čím dál většímu počtu firem. A není se čemu divit, cloud totiž nabízí neuvěřitelnou flexibilitu a jednoduchost použití. Přesto se ale stále najde spousta firem, které jedou kompletně on-premise a s přechodem na cloud váhají. Někdy má takové rozhodnutí objektivní důvody, často ale bývá spíše výsledkem mylných představ, které o cloudových datových skladech panují. A právě na to si posvítíme v této mňamce. Pojďte se se spolu s námi podívat na 5 nejčastějších mýtů o cloudu!
Pandas – k čemu slouží, k čemu jej raději nepoužijeme a jeho alternativy | Mňamka #435
Pandas je jednou z nejpoužívanějších knihoven pro zpracování dat v jazyce Python. Jeho největší předností je zejména jednoduchá a intuitivní syntaxe a také rychlost, se kterou můžete zpracovávat velké datové soubory. V BizzTreatu ho proto často využíváme např. pro ad hoc analýzy dat, kdy potřebujeme rychle prozkoumat, jak data vlastně vypadají a jaká je jejich kvalita. V dnešní mňamce od Báry si ukážeme, kde všude lze Pandas použít a jak si stojí v porovnání s ostatními knihovnami!