AI vám dává křídla, provoz ale musíte řídit vy: Na co si dát pozor při implementaci umělé inteligence do firmy? 

Firmy nasazují AI rychleji, než stíhají psát pravidla k jejímu používání. Na naší odborné snídani 23. září se u nás hosté z Českých Radiokomunikací, Unnits a Creditas podělili o to, co jim nové nástroje přinesly, kde se spálili a proč kontrola výstupů zůstává na lidech.

Umělou inteligenci dnes ve firmách používá skoro každý: na e-maily, analýzy, reporty i psaní kódu. Často dřív, než firma stihne říct, co se smí a co už ne. Otázka proto nezní, jestli ji zavádět, ale jak. Kdo za její výstupy ručí? Kdo je kontroluje? A co se do ní vůbec smí poslat? Odpovědi, které na snídani zazněly, se v mnohém shodovaly.

Nejdřív rozhodněte, kdo AI vlastní

Při implementaci se bohužel často stává, že se přeskočí základní otázka: kdo má zavádění ve firmě „vlastnit“. HR umí rozjet kampaně a školení, ale systémy provozovat nebude. Business chce výsledky, ne provoz. IT zase hrozí, že bude řešit technologii bez přínosu. Například v Českých Radiokomunikacích (CRA) zvolili samostatnou buňku lidí, kteří víc přemýšlejí o procesech než o serverech. „Ať zvolíte kohokoli, horší je nerozhodnout se vůbec,“ říká Stanislav Grünfeld, IT & Digital Director.

V Creditas Digital Factory naopak adopci zpočátku táhli nadšenci, kteří čerpali ze zkušeností z minulých projektů, a vybraní early adopteři z týmů. Fungovalo to, ale jen do chvíle, kdy bylo potřeba dát celé věci směr. Proto vznikl samostatný AI tým, který má adopci přímo v popisu práce. „Adopce vznikala organicky kolem konkrétních potřeb, problémů a nápadů,“ popisuje Tadeáš Topol, Test Automation Specialist (v zastoupení za nemocného Jindřicha Vogla).

Rychlejší lidé ještě neznamenají rychlejší firmu

Dalším společným zjištěním bylo, že umělá inteligence úzké hrdlo neodstraní, jen ho přesune. Když zrychlí jednotlivci, firma jako celek rychlejší automaticky není. „Když jsou dva z pěti programátorů s AI rychlejší, budou čekat na zbytek,“ upozorňuje Grünfeld.

Například v CRA po letech přestal být úzkým místem vývoj a nově chybí kapacita v testování a analýze. Business si navíc nechá od jazykového modelu vygenerovat desítistránkové zadání, které někdo musí přečíst a ověřit. V Creditas to jako první pocítil QA tým. „Vývoj to neskutečně zrychlilo. Množství práce, které byli schopni vygenerovat, se na nás začalo rapidně navalovat,“ říká Topol.

V Creditas proto nasadili umělou inteligenci tam, kde je to brzdilo nejvíc: na automatizaci testů, kontrolu kódu a zakládání tzv. pull requestů. Finální schválení ale stále zůstává na člověku. Největší přínos však přišel jinde, než čekali – díky onboarding agentovi se do automatizace zapojili i vývojáři a manuální testeři. „V komunikaci jsme získali spojence, kteří rozumí naší řeči,“ doplňuje dále Topol.

Hlídejte vstupy a výstupy

Rizika umělé inteligence se podle Dana Charouska, advisora ve společnosti Unnits, dále liší podle toho, kdo s ní pracuje. U technických uživatelů, třeba vývojářů, je klíčový výstup. Vygenerovaný kód může obsahovat bezpečnostní chyby, skryté bugy nebo nevhodnou architekturu, a proto se musí zkontrolovat a otestovat. U netechnických uživatelů, kteří s její pomocí tvoří třeba reporty, je klíčový vstup. Hrozí, že do modelu pošlou osobní údaje, obchodní tajemství nebo interní data, která je potřeba nejdřív anonymizovat a odfiltrovat. „Otázka pro organizaci tedy zní: Co se smí poslat do AI a kdo ověří výstup?“ shrnuje Charousek.

Podělil se s námi mj. také o svůj příběh z praxe, kdy funkce vygenerovaná za 15 minut fungovala, ale při kontrole kódu se vrátilo tolik připomínek k architektuře a udržitelnosti, že oprava trvala 5 dní. „Nechal jsem se unést lákavou myšlenkou, že kód, který bych kdysi dodal za dva až tři dny poctivé práce, dodám za patnáct minut,“ přiznal.

Do produkce se kód nedostal právě díky procesu, který vyžaduje druhý pár očí. Statická analýza, testy a člověk, který schvaluje, jsou dnes důležitější než dřív. Umělá inteligence totiž umí být extrémně sebevědomá i ve chvíli, kdy se mýlí. Z toho může pramenit řada problémů a je potřeba na tuto skutečnost neustále myslet.

Zákaz není cesta. Ovšem ponechání bez kontroly taky ne

A co ta druhá strana, tedy vstupy? Když Samsung v roce 2023 zaznamenal za 20 dní tři úniky citlivých dat přes veřejný ChatGPT, tyto nástroje plně zakázal. Výsledkem nebyla bezpečnost, ale tzv. shadow AI. Tedy stav, kdy je lidé používají dál, jen mimo dohled firmy. Ta pak ale neví kdo, co ani kam posílá.

Místo zákazu by proto firmy měly hledat kontrolované prostředí. Například v CRA vybudovali v Azure „hřiště“ pro aplikace, které si postaví lidé mimo IT, a pro citlivá data testují lokální modely. „Zaměstnanci AI používat budou, ať chceme, nebo ne. Zakazování není směr,“ říká Grünfeld.

Jedním z technických řešení je poté AI gateway. Funguje podobně jako firemní proxy pro internet: citlivé údaje zamaskuje dřív, než dotaz odejde do jazykového modelu, a nevhodné požadavky zablokuje. Stojí za to si připomenout, že takový únik není jen problém AI Actu (evropského nařízení o umělé inteligenci, které stanovuje pravidla podle míry rizika). Může porušit i GDPR nebo povinnost chránit obchodní tajemství. „Výhoda je v tom, že gateway můžete provozovat u sebe, na vlastní infrastruktuře,“ vysvětluje Charousek.

Rychlost může být zrádná, zapomenout na lidi ještě víc

Nové interní nástroje ve firmách často vznikají až moc rychle. Poté ale nemusí být jasno v tom, kdo je má používat, v jakém procesu, kdo je bude udržovat a kdo za ně ručí. Pomoci může například interní katalog agentů a nástrojů, díky kterému týmy nestaví stejnou věc dvakrát. „Když začnete chrlit jeden nástroj za druhým a nezeptáte se, kdo ho bude používat, budete mít ve skladu spoustu malých nástrojů, u nichž ani nevíte, kdo je bude udržovat,“ varuje Topol.

Klíčoví jsou ale lidé. V QA týmu Creditas zhruba pětina lidí používá AI denně, další dvě pětiny příležitostně a zbytek skoro vůbec. V tomto se jim ukázala jako stěžejní samotná podpora a komunikace. Zároveň ne všichni, kdo ji nepoužívají, to řeknou nahlas. V CRA třeba zjistili, že některé týmy na školeních kývaly, ale v praxi s ní nepracovaly, protože měly bariéry, o kterých nikdo nevěděl. „Sledujte i ty mlčící,“ doporučuje Grünfeld.

Důležité je myslet i na nápor, který vším tím zrychlením a zefektivněním na zaměstnance vytváříte. Vývojář je s AI třeba o 30 % rychlejší, ale jak dlouho tu mentální zátěž vydrží?

5 otázek, na které si odpovězte

Umělá inteligence zrychluje, ale kvalitu a bezpečnost za vás neohlídá. Pokud ji ve firmě zavádíte, vyplatí se mít odpověď na tyto otázky:

1. Kdo u nás AI program vlastní a kdo za jeho výstupy ručí?
2. Kam se nám přesune úzké hrdlo, až vývoj zrychlí? Zvládne to testování a analýza?
3. Kdo a jak kontroluje kód, reporty a dokumenty, které vytvořila AI?
4. Víme, co zaměstnanci do jazykových modelů posílají, a máme bezpečnou cestu, kterou jim nabízíme místo zákazu?
5. Měříme, jestli nástroje opravdu používají lidé, kteří je mají? 

V Principalu se kvalitě a testování softwaru věnujeme dlouhodobě. Pomáháme firmám nastavit, jak výstupy umělé inteligence ověřovat, aby zrychlení vývoje nezaplatily chybami v produkci. Pokud řešíte některou z otázek výše, ozvěte se nám.