Když se bere kanón na mouchu | Mňamka #52

Štěstí přeje připraveným

Ještě si živě pamatuju, když všechny moje projekty v Pythonu začínaly následujícími řádkami:

Přišlo mi to neprůstřelný. Nemůže mi přece chybět žádný modul, když je tam mám všechny. Četné nadávky linteru jsem ignoroval s myšlenkou: Já přece vím, co používám. Na první pohled je z importů zřejmé, že se jednalo o aplikaci, která pracovala se souborovým systémem, konkrétně pak s daty ve formátech JSON a CSV. Navíc docela nízkoúrovňově přistupovala k síti, s daty dělala nějakou tu dejta sájenc a byla to… hra?

Moje teorie byla taková, že když během kódění zjistím, že něco potřebuju, už to prostě rovnou budu mít. Štěstí přeje připraveným, ne?

Na zkoušku jsem vytvořil venv a nahrál do něj pomocí pip výše zmíněné balíčky. Prázdný venv má u mě kolem 7 MB, po nainstalování balíčků to bylo 150 MB. Samotný pandas má po instalaci všech závislostí (jako je třeba numpy) 113 MB. Dneska nikoho megabajt sem nebo megabajt tam úplně netrápí; v době, kdy váš repozitář může existovat v nesčetně kopiích napříč datovými centry a CDN po celém světě, a nikdo jeho 113 MB pandasu a jeden prázdný soubor s názvem hello-world.py nezaznamená, se to může zdát jako zbytečná buzerace, ale já když vidím ve skriptu na převedení TSV do CSV na začátku import pandas as pd, většinou se zhluboka nadechnu a začnu dělat problémy.

Orat se dá lecčím

Když zjistíte, že se vaším nosem dá tak trochu orat v zemi, stejně si radši na pole pořídíte třeba rádlo. A stejně je to s pandasem. Ono se to dá použít na otevření CSV. Ale ono to k tomu není primárně určené. pandas je jako švýcarák, a setsakramentsky dobrej švýcarák, ale víno se prostě většinou otevírá líp vývrtkou.

Může to vypadat, že jsem si zasedl na pandas; já opravdu vím, že je to skvělý balík modulů. Ale z mé zkušenosti se občas používá moc. Na srazu dejta sájentistů si musí pandas připadat trochu jako jediná žena na gang bangu.

Každý sklízí, co zasel

V Bizztreat jsem se naučil jedno strašně pěkný pravidlo - používej správný nástroj na požadovanou činnost.

O hodinu později koukám, co se hergot děje, že se mi ten obraz nechce a nechce sestavit. Nahlédnu do Dockerfile a představuji si, že takhle nějak vypadaly myšlenky autora:

  • Tom říkal, ať ty obrazy děláme malý, postavím to na Alpine Linux.
  • Moje appka používá pandas, tak teda pip install pandas.
  • Ahá, ono to na Alpine nejde, tak já tam přidám závislosti pro sestavování C knihoven pro Python.
  • pip install pandas
  • Ty jo, trvá to docela dlouho, ale sestavilo se to.
  • Hotovka libovka.

A na co appka ten pandas potřebuje?

Zjišťuje záhlaví céesvéčka.

Až se ucho utrhlo

Abych nebyl jenom za nerváka, co nadává na pandas, takhle prosím se dá docela snadno otevřít céescvéčko bez něj:

Tom

Máte k článku nějaké otázky nebo připomínky? Klidně mi napište, rád to s Vámi proberu :-)

Tomáš Votava
CTOmča - datový detektiv
LinkedIn

Postavili jsme stejného AI chatbota nad firemními daty v Googlu i v Microsoft Azure. | Mňamka #557

Postavili jsme stejného AI chatbota nad firemními daty v Googlu i v Microsoft Azure. | Mňamka #557

Skoro každá firma dneska sedí na hromadě vlastních dokumentů - produktové listy, FAQ, smlouvy, zápisy z projektů. A skoro každá firma by chtěla to samé: chatbota, kterému napíšete otázku a on odpoví z vašich dat, ne z toho, co si kde přečetl na internetu. Zní to jednoduše. My jsme si to chtěli osahat pořádně, a tak jsme jedno a to samé řešení postavili dvakrát - jednou v Google Cloudu, podruhé v Microsoft Azure. Tady je, co z toho vypadlo.

Microsoft Fabric vs. dbt | Mňamka #556

Microsoft Fabric vs. dbt | Mňamka #556

Když firmy modernizují svou datovou platformu, narazí dřív nebo později na otázku, jaký datový stack zvolit a co je pro jejich byznys nejvhodnější. Migrovat na Microsoft Fabric? Nasadit dbt? Otázka je ale položená trochu zavádějícím způsobem, jde totiž o srovnání dvou věcí, které stojí na jiné úrovni datového stacku: Fabric je platforma, dbt je transformační nástroj, který na takové platformě běží. Přesto má smysl se ptát, jak se tyto dva světy doplňují, kde si uvnitř Fabricu konkurují nativní nástroje a dbt, a kdy se vyplatí sáhnout po dbt jako standardní transformační vrstvě.

7 signálů, že vaše firma potřebuje datovou strategii | Mňamka #555

7 signálů, že vaše firma potřebuje datovou strategii | Mňamka #555

Každá firma chce zvednout efektivitu a využít příležitosti, které dnes AI nabízí. Jenže než nasadíte jakýkoliv model, copilota nebo „chytrou analýzu", musíte mít v pořádku to, na čem AI stojí a to jsou pevné datové základy. Následující signály jsou věci, se kterými se u klientů stále poměrně často setkáváme. Pokud některý z nich zní povědomě, datová strategie není nice-to-have. Je to základ. A ten se bohužel nedá přeskočit, i když by to bylo hodně pohodlné. Dá se oddálit, ale pak se vždy platí i s úroky.