Umělá inteligence ve firemních nástrojích: skvělý pomocník, nebo zadní vrátka? | Mňamka #546

AI dnes najdete téměř v každém nástroji, který ve firmě používáte - od zpracování dat přes účetnictví, CRM a řízení úkolů až po zákaznickou podporu nebo e-mail. Všude se objevují „asistenti“, „copiloti“, „recommenders“ nebo prostě tlačítka s nápisem „zkus to s AI“. Tyto chytré moduly navrhují odpovědi, doplňují faktury, připomínají schůzky nebo tvoří datové výstupy. Umělá inteligence už dnes zkrátka není doménou experimentů nebo sci-fi.

Na první pohled skvělé - nástroj je chytřejší, rychlejší, zpříjemní den, ušetří čas, pomůže s rutinní prací. Ale právě tady je dobré se zastavit. Za každým takovým tlačítkem se může skrývat mechanismus, který odesílá firemní data do neznáma - a to klidně i bez vašeho vědomí.

Než AI funkcionalitu ve vašem nástroji nadšeně zapnete, stojí za to se zamyslet: jak funguje, co sbírá, kam data posílá? Protože právě tady se mohou velmi snadno otevřít zadní vrátka do celé firmy – a s nimi i dost zásadní bezpečnostní rizika.

Co se s vašimi daty v AI modulu opravdu děje?

To je otázka, na kterou často není jednoduchá odpověď. Každý výrobce nástroje implementuje AI funkce jinak - a ne vždy to popisuje jasně či úplně, leckdy mlží.

Neviditelné riziko za každým „asistentem“

AI modul může být součástí samotného nástroje, nebo (a to asi nejčastěji) může jít o integrovanou službu třetí strany.. Někdy pracuje jen s názvy polí, jindy s celými zákaznickými záznamy. Zpracování může probíhat v EU, ale i mimo ni - typicky v USA.

A co přesně se s daty děje, není často snadné zjistit. Výrobci to ne vždy komunikují srozumitelně - někdy vůbec (v extrémních případech ne pravdivě). Kde se data zpracovávají? Jsou ukládána? Na jak dlouho? Slouží k tréninku dalších modelů? Nevíte-li, odpověď může znít „možná ano“.

Běžné scénáře práce AI modulů:

• Zpracování v cloudu třetí strany – data (nebo jejich části) putují mimo vaši firmu.

• Použití dat k tréninku – služby využívají vaše vstupy a vaše data k učení svých modelů.

• Přenos obsahu, nejen metadat – často se posílají celé texty, poznámky, jména zákazníků nebo výkazy.

• Nedostatečné řízení přístupů – AI může zpracovávat i data, ke kterým běžní uživatelé nemají mít přístup (a nabízet uživatelům tato data ve výstupech).

Jak riziko správně vyhodnotit?

Ano - AI moduly mohou firmě skutečně ušetřit spoustu času a zefektivnit provoz. Ale ještě před jejich aktivací by měla proběhnout poctivá analýza. Ne technicky složitá – ale důsledná.

Ptejte se například:

• Co přesně AI dělá? Co generuje?

• Jak a jaká data zpracovává? Jen metadata, nebo i obsah? Anonymizovaná data?

• Kde běží zpracování a kde jsou data uložena? V EU, USA nebo jinde?

• Používají se data dál? Slouží jen ke zpracování vašeho požadavku, nebo i ke zlepšování AI modelu?

• Co říkají obchodní podmínky, Privacy Policy? Je to někde popsané? Lze řídit, kdo k nim má přístup? Lze AI funkce vypnout, omezit?

Pokud na tyto otázky nemáte jasné odpovědi, je čas zbystřit. A přehodnotit rozhodnutí o aktivaci funkce, kterou nemáte pod kontrolou.

Co by měla obsahovat AI analýza nástroje?

Pokud AI funkci zvažujete, váš nástroj ji nabízí, doporučuji projít následující oblasti:

1. Technický popis funkcionality

• Co přesně funkce dělá?

• Na jakých datech pracuje?

• Jaký model využívá (interní, externí, open-source)?

• Kde fyzicky probíhá zpracování?

2. Datové toky

• Jaká data se odesílají (metadata, obsah, celé datasety)?

• Je přenos šifrovaný?

• Používají se data dál - např. pro trénink?

3. Právní rámec

• Je AI popsaná v obchodních podmínkách nebo zásadách ochrany osobních údajů?

• Jsou uvedeny garance ohledně lokalizace, uchování, ochrany?

• Má vaše firma právní základ pro zpracování údajů tímto způsobem (soulad s GDPR)?

4. Regulatorní a compliance souvislosti

• Spadá vaše firma pod NIS2, DORA? Jste certifikování dle ISO?

• Je třeba provést DPIA (posouzení dopadů - Data Protection Impact Assessment)?

• Vyhodnotili jste dodavatele nástroje jako součást rizikového řetězce?

5. Governance a přístupy

• Kdo může funkci zapnout? Můžete to řídit?

• Lze AI omezit jen na vybrané datasety nebo role, či konkrétní uživatele?

• Máte dostupné auditní logy využití?
  

AI není „jen další tlačítko“ – je to vstup do vašeho systému

Firmy AI moduly často zapínají v dobré víře, často pod tlakem marketingu - z důvěry v nástroj, výrobce, snahy o efektivitu nebo prostě proto, že „je to teď v módě“. Ale bez jasného řízení se AI snadno stane kanálem pro únik dat. A zároveň zdrojem právního problému - například porušení GDPR nebo v budoucnu nesplnění povinností vyplývající z NIS2.

Právní rámec: ne dobrovolně, ale z povinnosti

Důsledné zhodnocení AI modulů dnes není jen otázka opatrnosti – je to právní závazek. Regulace jako GDPR, NIS2, DORA, případně další, jednoznačně požadují kontrolu nad tím, co se s daty děje - a AI do toho dnes jednoznačně patří.

• GDPR vyžaduje právní základ, minimalizaci dat a často i DPIA.

• NIS2 posiluje řízení rizik a odpovědnost za dodavatelské řetězce.

• DORA přidává povinnost sledovat a řídit externí ICT služby - včetně AI komponent.

Doporučení z praxe

• Začněte inventurou: kde už AI je, kde se chystá, kde se skrývá.

• Proveďte analýzu rizik: datovou, technickou i právní.

• Zjistěte, co AI dělá – ptejte se výrobce, čtěte podmínky.

• Komunikujte s dodavateli: žádejte informace, dokumentaci i možnost AI vypnout.

• Testujte bezpečně – nejprve na neostrých datech.

• Nastavte řízení přístupu – AI musí respektovat práva a role.

• Zaveďte governance: kdo funkci zapíná, jak se schvaluje, co se loguje.

• Školte týmy: aby rozuměly, co AI dělá – a kdy ji (ne)zapínat.

Shrnutí

AI v nástrojích, které používáme, může být skvělý pomocník. Ale taky dobře maskovaný rizikový vstup. Než funkci zapnete, věnujte pár hodin tomu, co skutečně dělá, kam posílá data – a jestli její pomoc opravdu vyvažuje možná rizika. Vyplatí se to.