AI chatboty a asistenti dnes pomáhajú odpovedať zákazníkom, sumarizovať dáta či radiť administrátorom. Sú dostupné nonstop, rýchlejšie než človek a pri správnom nastavení aj veľmi presné. No spolu s touto pohodlnosťou prichádza aj nová otázka: čo ak AI prezradí viac, než by mala – vašim klientom, zamestnancom, alebo dokonca celému svetu?
Nie je to hypotetická obava. V roku 2023 študent pomocou šikovne položenej otázky prinútil chatbot Bing AI odhaliť vlastné pravidlá fungovania. Tie mali zostať skryté, no kvôli chybnému nastaveniu sa k nim mohol dostať aj bežný používateľ.
Takéto prípady ukazujú, že AI je výkonná – ale zatiaľ bez vlastného kontextu či hodnotenia rizík. A práve preto sa tejto oblasti začínajú venovať nielen firmy, ale aj zákonodarcovia.
Od augusta 2024 je v platnosti tzv. AI Act – prvý komplexný zákon o umelej inteligencii v Európskej únii. Jeho cieľom je rozlišovať rizikové a menej rizikové použitie AI a stanoviť jasné pravidlá pre prípady, kde môže umelá inteligencia ovplyvniť súkromie, zdravie alebo bezpečnosť používateľov.
Úlohou vývojárov a firiem teda dnes už nie je len „mať AI“, ale navrhovať ju tak, aby spĺňala pravidlá AI Actu a zároveň bola užitočná, dôveryhodná a bezpečná pre všetkých svojich používateľov.
V ďalšej časti článku sa preto pozrieme na najčastejšie chyby, ktorých sa firmy pri nasadzovaní AI dopúšťajú, a na konkrétne pravidlá, ako sa im dá predísť.
Ako to robíme v praxi:
1. Umelá inteligencia nikdy nedostáva viac, než naozaj potrebuje
Pri návrhu každého AI riešenia dodržiavame princíp „narrow context“. Znamená to, že model dostáva výhradne tie údaje, ktoré potrebuje na konkrétnu odpoveď. Neprepájame ho priamo s databázou ani so živým systémom. Všetky vstupy sú spracované vopred, odfiltrované a štruktúrované tak, aby sa k modelu dostali len relevantné informácie. To znižuje riziko nesprávnej interpretácie, neúmyselného odhalenia údajov alebo kontextovej chyby.
Tento prístup je nevyhnutný najmä v projektoch, kde sa pracuje s citlivými údajmi – ako sú zdravotné záznamy – no uplatňujeme ho aj tam, kde sa využívajú verejné dáta.
2. Dáta zostávajú v EÚ a model ich nikdy netrénuje ďalej
Pri akomkoľvek projekte pracujúcom s osobnými alebo obchodnými údajmi je pre nás nevyhnutné vedieť, kde sa dáta fyzicky nachádzajú a aké garancie poskytuje infraštruktúra. V prípade zdravotníckeho systému Crossuite so sídlom v Belgicku využívame napríklad AWS hosting v nemeckom Frankfurte, čím spĺňame podmienky AI Actu pre systémy s vysokým rizikom. Tie vyžadujú napríklad aj to, aby boli osobné údaje zozbierané na území EÚ spracúvané primárne v rámci EÚ a vždy v súlade s európskymi pravidlami.
Zmluvné podmienky Amazonu zároveň výslovne garantujú, že naše vstupné dáta sa neukladajú, nevyhodnocujú a nepoužívajú na ďalší tréning modelu. To je zásadné najmä pre oblasti ako medicína, kde je akýkoľvek prienik medzi používateľskými dátami a modelovým učením neprípustný.
Naša zodpovednosť je nielen technická, ale aj právna – klient musí vedieť, že to, čo AI „vidí“, zostáva len medzi ním a modelom, a že nikto iný, teraz ani v budúcnosti, nezíska k týmto údajom prístup.
3. Správne nastavenie vstupov je základ bezpečnej odpovede
Bezpečnosť AI nespočíva len v tom, aké dáta spracúva, ale aj v tom, ako je vedená k odpovedi. V každom projekte preto navrhujeme zadania (prompty) tak, aby model pracoval len s relevantnými údajmi, držal sa témy a odpovedal zrozumiteľne a predvídateľne.
Používame vopred pripravené šablóny, ktoré určujú, aké informácie môže AI použiť, aký má byť tón odpovede a čo robiť v prípade neistoty. Zároveň sledujeme, či sa drží stanovených hraníc. Tento prístup – známy ako prompt engineering – z nej robí dôveryhodný nástroj, nie nevyspytateľný experiment.
4. Ak je to potrebné, vieme údaje anonymizovať ešte predtým, než sa ich AI vôbec dotkne
Nie každá aplikácia spracúva citlivé dáta, ale každá môže časom naraziť na situáciu, keď sa tak stane. Dejmark dnes využíva AI na to, aby obchodníkom uľahčila opakované nákupy – stačí fotka starej objednávky, bločka alebo screenshot z iného ERP systému a umelá inteligencia automaticky rozpozná produkty, množstvá aj objemy, a vytvorí z nich nový nákupný košík. Aktuálne tak nespracúva žiadne osobné údaje, no do budúcna sa môže funkcionalita rozšíriť napríklad o spracovanie faktúr či dodacích listov – a v takom prípade už môžu vstupovať do hry aj mená, adresy či emailové kontakty.
Aj preto sme už pri návrhu riešenia uvažovali nad tým, ako vstupy čistiť: či už pomocou anonymizačných regex filtrov, alebo cez predspracovanie v aplikačnej vrstve. AI model tak nikdy nedostane dáta v surovej podobe – len extrakt, ktorý neobsahuje žiadne identifikátory.
5. Každý výstup sa dá spätne dohľadať, vysvetliť a upraviť
Transparentnosť je základom dôvery. Pri každom nasadení AI riešenia vytvárame mechanizmy pre auditovanie výstupov. Cieľom je mať vždy možnosť spätne dohľadať, kto čo zadal, čo model odpovedal a prečo – aby sa výstupy dali vysvetliť aj skontrolovať.
V zdravotníckych riešeniach to má jasný význam – ak by došlo k nejasnosti v sumarizácii údajov, musíme vedieť spätne preveriť, z čoho model vychádzal. Pri chatbot riešeniach zase sledujeme, či AI neodpovedá mimo rámec definovaného správania, a ak áno, vieme model pretrénovať, upraviť prompt alebo zmeniť spracovanie vstupu.
Každé AI nasadenie teda prechádza testovaním v dvoch fázach: internou kontrolou vývojárov a následne overením klientom, a až potom prechádza do produkcie.
Tento proces nám umožňuje robiť AI, ktorú vieme nie len nasadiť, ale aj obhájiť.
6. Dôveryhodný model, jasné pravidlá a priebežná kontrola
Bezpečnosť AI začína už výberom spoľahlivého modelu a poskytovateľa. Pri našich projektoch preto uprednostňujeme partnerov, ktorí ponúkajú overené technológie, transparentné podmienky a vysoké štandardy ochrany – napríklad OpenAI cez Azure, Google Vertex AI, AWS Bedrock alebo vlastné hostované riešenia. Ich infraštruktúra zahŕňa šifrovanie dát, kontrolu prístupu aj pravidelné audity.
Na tejto infraštruktúre potom staviame jasne definované pravidlá používania – určujeme, aké údaje môže model spracúvať, aké sú jeho obmedzenia a čo má robiť v prípade neistoty. Každé riešenie zároveň prechádza interným testovaním aj validáciou zo strany klienta. Priebežné bezpečnostné audity nám umožňujú monitorovať výstupy a v prípade potreby pravidlá upraviť tak, aby AI riešenia zostali spoľahlivé aj v čase, keď sa mení technológia, legislatíva či typ spracúvaných dát.
Aj AI má svoje hranice a my ich nastavíme tak, aby ste sa na ňu mohli spoľahnúť
Najväčším rizikom umelej inteligencie nie je technológia samotná, ale to, že ju necháme konať bez pravidiel.
V bart.sk navrhujeme AI riešenia tak, aby boli užitočné, dôveryhodné a najmä bezpečné. Rešpektujeme pritom citlivosť dát, legislatívu aj potreby používateľov. Dôvera totiž nie je niečo, čo môžete nechať na model. Musí byť vstavaná priamo do architektúry.
Zdroje
- https://www.darkreading.com/cyber-risk/shadow-ai-sensitive-data-exposure-workplace-chatbot-use
- https://www.lakera.ai/blog/chatbot-security
- https://www.europarl.europa.eu/topics/en/article/20230601STO93804/eu-ai-act-first-regulation-on-artificial-intelligence
- https://support.park.edu/support/solutions/articles/6000275001-using-ai-chatbots-privacy-and-information-security-considerations
- https://www.theguardian.com/world/2018/jan/28/fitness-tracking-app-gives-away-location-of-secret-us-army-bases
- Ars Technica – AI-powered Bing Chat spills its secrets via prompt injection attack
FAQ o bezpečnosti umelej inteligencie
Prečo môže AI chatbot prezradiť citlivé informácie?
Ak nie je správne nastavený rozsah vstupov a prístupov, AI môže spracovať a použiť aj informácie, ktoré nemala dostať – napríklad interné pravidlá, osobné údaje alebo dôverné dáta. Preto je dôležité dodržiavať princíp „narrow context“ a AI neposkytovať viac, než potrebuje na odpoveď.
Čo je AI Act a koho sa týka?
AI Act je európska legislatíva platná od augusta 2024, ktorá rozdeľuje použitie umelej inteligencie podľa rizikovosti. Pre firmy zavádza povinnosti v oblasti transparentnosti, bezpečnosti, spracovania osobných údajov a auditovateľnosti – najmä pri systémoch, ktoré pracujú s citlivými alebo regulačne chránenými dátami.
Spracúva môj AI systém údaje mimo EÚ?
Závisí od použitého modelu a hostingu. Pri práci s osobnými údajmi je vhodné používať cloudové služby v rámci EÚ a s garanciou, že dáta nebudú využité na tréning modelov. Napríklad hosting cez AWS Frankfurt alebo Azure Europe je v súlade s AI Act aj GDPR požiadavkami.
Čo je prompt engineering a ako zvyšuje bezpečnosť?
Prompt engineering znamená návrh vstupov pre AI tak, aby boli presne definované, bezpečné a predvídateľné. Pomáha modelu odpovedať len na to, čo má, správnym tónom a v rámci povoleného rozsahu. Znižuje riziko zneužitia a nepresných výstupov.
Môže AI zneužiť údaje z dokumentov, ktoré jej dám?
Ak model nie je správne nastavený, môže si zapamätať alebo použiť aj citlivé časti dokumentov. Preto by AI nikdy nemala pracovať so surovými dátami – treba ich anonymizovať alebo extrahovať len relevantné časti ešte predtým, než sa dostanú k modelu.
Aký je rozdiel medzi bezpečným modelom a bežným AI nástrojom?
Bezpečný AI model má jasne nastavené pravidlá spracovania údajov, fyzické umiestnenie dát v EÚ, obmedzený prístup, šifrovanie, logovanie výstupov a možnosť auditu. Bežné nástroje tieto záruky často neposkytujú, čo môže predstavovať riziko v regulovaných odvetviach.
Dá sa spätne overiť, čo AI odpovedala a prečo?
Áno. Profesionálne riešenia obsahujú auditné záznamy, ktoré ukazujú, kto zadal otázku, aký bol prompt, čo model odpovedal a na základe čoho. Táto transparentnosť je kľúčová najmä v oblasti zdravotníctva, financií alebo interných firemných riešení.
Aké AI modely sú považované za bezpečné pre firmy?
Medzi odporúčané riešenia patria OpenAI cez Azure, Google Vertex AI, AWS Bedrock alebo vlastné hostované modely. Tieto platformy poskytujú garancie bezpečnosti, šifrovania, transparentnosti a technickej kontroly nad dátami aj ich spracovaním.
Čo mám urobiť pred nasadením AI do praxe?
Najprv si stanovte, aké dáta bude AI používať, kto ich uvidí, ako budú filtrované a kde budú uložené. Vytvorte bezpečnostné pravidlá, anonymizujte citlivé vstupy, nastavte prompt šablóny a aktivujte auditovanie výstupov. Až potom nasadzujte AI do produkcie.
