Postavili jsme stejného AI chatbota nad firemními daty v Googlu i v Microsoft Azure. | Mňamka #557

Skoro každá firma dneska sedí na hromadě vlastních dokumentů - produktové listy, FAQ, smlouvy, zápisy z projektů. A skoro každá firma by chtěla to samé: chatbota, kterému napíšete otázku a on odpoví z vašich dat, ne z toho, co si kde přečetl na internetu. Zní to jednoduše. My jsme si to chtěli osahat pořádně, a tak jsme jedno a to samé řešení postavili dvakrát - jednou v Google Cloudu, podruhé v Microsoft Azure. Tady je, co z toho vypadlo.

Nejdřív: co je vlastně RAG?

FRAG (retrieval-augmented generation) je způsob, jak přinutit AI, aby odpovídala z vašich podkladů, a ne si vymýšlela. Funguje ve dvou krocích. Nejdřív si z vašich dokumentů vyhledá pasáže, které se k otázce hodí (retrieval). Pak z nich složí odpověď vlastními slovy a ideálně odkáže na zdroj (generation).

Výhoda je praktická: nemusíte kvůli tomu trénovat vlastní model. Stačí AI dát přístup k vašim datům a ohlídat kvalitu vstupů. Nevýhoda? Odpověď je jen tak dobrá, jak dobrá jsou vaše data - na špinavých a duplicitních podkladech se ani nejchytřejší model nevytáhne.

Jak to vypadalo v praxi

Postup byl na obou platformách překvapivě podobný: připravit data → nahrát je do úložiště → postavit nad nimi vyhledávací index → připojit jazykový model → nasadit jako webovou aplikaci s přihlášením.

Google Cloud (Vertex AI): data do úložiště, nad nimi RAG korpus, agenta rovnou otestujete a nasadíte jako službu v Cloud Runu - včetně základního UI, které si můžete přímo upravovat ve zdrojovém kódu.

Azure (AI Search + Foundry): data do Blob Storage, vektorový index v Azure AI Search, modely přes Azure AI Foundry, aplikace běží v Azure Container Apps s přihlášením přes Entra ID.

Srovnání, které rozhoduje

Pár čísel k té ceně, protože se ptáte nejčastěji: na Azure vyjde malá interní appka na zhruba 5 $ měsíčně, když ji necháte „usnout" na nulu. A pozor - ta pětka není ani tak za výpočetní výkon (ten je při scale-to-zero díky měsíčním free grantům prakticky zdarma), ale hlavně za registr kontejnerů v tarifu Basic, který stojí fixně cca 0,17 $ denně. Když necháte appku běžet pořád, jste spíš na 15–18 $. Free tier Azure AI Search (50 MB, 3 indexy) je fajn na pískoviště, na ostrý provoz už ne.

Co nás nejvíc překvapilo

Nerozhoduje technologie, ale identita. Obě platformy RAG zvládnou dobře. Reálný rozdíl přišel s otázkou, kde má klient účty. Když firma žije v Microsoftu a přihlašuje lidi přes Entra ID, řešit vedle toho ještě druhou, googlovskou správu identit je zbytečná bolest - a naopak. Volba cloudu tak často padne dřív podle IT reality klienta než podle vlastního nástroje.

Dva střízlivé detaily do zápisníku. Na Googlu běží RAG i v evropských regionech, ale formální garanci „data residency" pro RAG engine zatím nedostanete (šifrování a síťová izolace ano). A na Azure mají embedovací modely omezenou regionální dostupnost - dostupný region si ověřte až při nasazení, případně použijte typ nasazení, který drží zpracování v rámci EU.

Co si z toho odnést

Postavit RAG chatbota nad vlastními daty dnes není raketová věda ani na jednom z velkých cloudů - a rozjede se levněji, než většina lidí čeká. Klíčové rozhodnutí se ale odehraje mimo technologii: kde má klient identity, kde musí zůstat data a kdo bude aplikaci udržovat. Když tohle vyřešíte na začátku, ušetříte si spoustu překopávání potom.