Predstavme si e-shop, ktorý chce pomocou umelej inteligencie lepšie spoznať svojich zákazníkov. AI sleduje, čo si človek prezerá, ako dlho váha pred nákupom, na akú reklamu reaguje a pri akej cene stránku opustí. Následne mu upraví ponuku tak, aby bola čo najzaujímavejšia.
Takéto používanie umelej inteligencie nemusí byť samo osebe problémom.
Čo ak však systém zájde ďalej? Z dostupných údajov zistí, že konkrétny zákazník je vo finančnej tiesni alebo že je v určitom okamihu mimoriadne ľahko ovplyvniteľný. A presne túto slabinu začne využívať na to, aby ho dotlačil ku kúpe alebo uzatvoreniu zmluvy, ktorú by za normálnych okolností neuzatvoril.
Vtedy už nestačí skontrolovať obchodné podmienky e-shopu, pravidlá GDPR, ochranu osobných údajov alebo zmluvu s dodávateľom softvéru. Európsky AI Act totiž pozná aj spôsoby používania umelej inteligencie, ktoré sú jednoducho zakázané.
A to je podstatný rozdiel. Pri mnohých AI systémoch riešime otázku, aké podmienky musí firma splniť, aby ich mohla používať.
EU AI Act pozná aj absolútne červené čiary
AI Act, teda nariadenie (EÚ) 2024/1689, rozdeľuje používanie umelej inteligencie podľa rizika. Pri niektorých spôsoboch jej použitia však Európska únia dospela k záveru, že nestačí doplniť dokumentáciu alebo zaviesť ďalšie bezpečnostné opatrenia.
Článok 5 preto stanovuje zakázané praktiky využívajúce AI. Tieto pravidlá pritom nie sú určené iba technologickým gigantom. Môžu sa týkať aj bežnej s.r.o., poisťovne, banky, marketingovej agentúry, prevádzkovateľa internetového obchodu či startupu, ktorý vyvíja nový AI produkt.
AI Act rozlišuje napríklad „poskytovateľa“, teda zjednodušene subjekt, ktorý systém vyvíja alebo ho uvádza na trh pod svojím menom, a „nasadzujúci subjekt“, teda firmu alebo inú organizáciu, ktorá AI používa pri svojej činnosti.
To je dôležité nielen z pohľadu AI Actu, ale aj širšieho obchodného práva a zodpovednosti firmy, jej vedenia či konateľa.
Keď personalizovaná reklama prestane byť iba reklamou
Reklama sa prirodzene snaží zákazníka presvedčiť. E-shop odporúča výrobky podľa predchádzajúcich nákupov, banka ponúkne klientovi produkt podľa jeho potrieb a internetová služba upraví obsah podľa toho, čo používateľ v minulosti vyhľadával.
AI Act toto všetko automaticky nezakazuje.
Hranica sa môže prekročiť vtedy, keď AI používa podprahové, zámerne manipulatívne alebo klamlivé techniky a tým významne oslabí schopnosť človeka urobiť informované rozhodnutie. Výsledkom musí byť rozhodnutie, ktoré by človek inak neurobil, pričom takéto konanie spôsobí alebo môže pravdepodobne spôsobiť značnú ujmu.
Podprahovou technikou sa zjednodušene myslí pôsobenie mimo vedomého vnímania človeka. Predstavme si aplikáciu ponúkajúcu finančné produkty. Zo správania používateľa dokáže vyhodnotiť, že je pod silným finančným tlakom. Namiesto toho, aby mu iba zobrazila ponuku, začne túto situáciu cielene využívať. Umelo vytvorí pocit naliehavosti, ponuku nastaví tak, aby pôsobila ako jediné riešenie, a človeka vedie k uzatvoreniu nevýhodného spotrebiteľského úveru.
V takom prípade už nemusíme riešiť iba zákon o ochrane spotrebiteľa, spotrebiteľskú zmluvu, všeobecné obchodné podmienky alebo otázku, či ide o klamlivú reklamu či inú nekalú obchodnú praktiku. Do hry môže vstúpiť aj zákaz podľa AI Actu.
Stále však platí, že nie každá agresívna reklama je zakázanou AI manipuláciou. Nestačí, že reklama človeka presvedčila. AI Act vyžaduje splnenie ďalších podmienok vrátane podstatného narušenia rozhodovania a značnej ujmy.
Je preto potrebné rozlišovať medzi bežným marketingom, otázkami ako klamlivá reklama podľa Obchodného zákonníka, nekalá súťaž v praxi alebo ochrana spotrebiteľa a osobitným zákazom manipulácie pomocou AI.
Sociálne skóre nemusí existovať iba v štáte
Pojem social scoring znie na prvé počutie trochu vzdialene. Po slovensky ho môžeme označiť ako sociálne bodovanie alebo sociálne skóre.
Princíp je jednoduchý. AI zbiera informácie o človeku, hodnotí jeho správanie alebo predpokladané vlastnosti a vytvorí z nich určitú celkovú známku. Podľa nej sa následne rozhoduje, ako sa bude s človekom zaobchádzať.
AI Act takéto hodnotenie za určitých okolností zakazuje.
Predstavme si poisťovňu, ktorá pri uzatváraní poistnej zmluvy nevychádza iba z informácií súvisiacich s poistným rizikom. AI začne analyzovať aj verejné príspevky klienta na sociálnych sieťach, jeho nákupné zvyklosti, voľnočasové aktivity a ďalšie informácie z rôznych oblastí života.
Z toho vytvorí všeobecné „skóre dôveryhodnosti“. Človeku s nízkym skóre následne poisťovňa odmietne službu alebo mu výrazne zhorší podmienky. To už je niečo iné ako bežné posudzovanie konkrétneho poistného alebo úverového rizika. Rozhodujúce je najmä to, aké údaje AI spája, na aký účel človeka hodnotí a aké následky má výsledné skóre.
A ak sa pri tom spracúvajú osobné údaje, AI Act samozrejme nevytláča GDPR. Naďalej treba posudzovať aj všeobecné nariadenie o ochrane osobných údajov, prípadne slovenský zákon o ochrane osobných údajov.
AI Act a GDPR sú jednoducho dve rôzne vrstvy regulácie. To, že použitie AI nie je zakázané podľa AI Actu, ešte automaticky neznamená, že je zákonné aj z pohľadu ochrany osobných údajov.
Zmluva s dodávateľom ani obchodné podmienky nezmenia zakázanú AI na povolenú
Pri podnikaní sme zvyknutí množstvo rizík riešiť zmluvne.
Do zmluvy sa doplní zodpovednosť dodávateľa, vyhlásenie o dodržiavaní právnych predpisov, pravidlá používania údajov alebo obchodné tajomstvo. V prípade potreby sa podpíše dodatok k zmluve, upraví licencia alebo zmenia všeobecné obchodné podmienky.
Pri zakázaných praktikách AI Actu však platí jednoduchá vec: Zmluva nemôže urobiť zo zákonom zakázaného spôsobu používania AI povolený spôsob používania AI.
Ak napríklad firma používa systém na zakázanú biometrickú kategorizáciu, nepomôže jej, že dodávateľ v zmluve sľúbil súlad s právom. Podobne nemožno automaticky povedať, že všetko vyrieši súhlas dotknutej osoby.
Pri niektorých právnych režimoch je súhlas veľmi dôležitý. Pozná ho GDPR a pri novom zákaze týkajúcom sa intímneho obsahu pracuje so súhlasom výslovne aj AI Act.
Pre firmy je preto pri AI produktoch dôležité pozerať sa ďalej než len na platnosť zmluvy, obchodné podmienky alebo licenciu.
AI Act nestojí sám: GDPR, spotrebiteľské právo, autorské právo a ďalšie predpisy platia ďalej
Jednou z častých chýb pri právnom posudzovaní umelej inteligencie je snaha nájsť jeden „AI zákon“, podľa ktorého sa vyrieši všetko.
Takto však európska regulácia nefunguje.
AI Act výslovne nenahrádza GDPR ani existujúce pravidlá ochrany osobných údajov či ochrany spotrebiteľa.
Pri jednom AI produkte preto môže byť súčasne potrebné riešiť napríklad:
- AI Act, akým spôsobom sa AI môže používať;
- GDPR a nariadenie (EÚ) 2016/679, ak systém spracúva osobné údaje;
- zákon o ochrane osobných údajov;
- zákon o ochrane spotrebiteľa, ak sa AI používa vo vzťahu k spotrebiteľom;
- pravidlá proti nekalým obchodným praktikám, ak systém ovplyvňuje obchodné rozhodovanie zákazníka;
- nekalú súťaž alebo klamlivú reklamu;
- autorský zákon, autorské právo a copyright, ak AI pracuje s fotografiami, textami, programovým kódom alebo inými chránenými dielami;
- licenčné zmluvy a práva duševného vlastníctva, ak firma používa cudzí model, databázu alebo software;
- a samozrejme aj klasické obchodné právo, zmluvy a zodpovednosť za škodu.
Pokuta môže dosiahnuť milióny eur
Zakázané praktiky patria medzi porušenia, ktoré AI Act sankcionuje najprísnejšie.
Za nedodržanie zákazov podľa článku 5 môže byť uložená správna pokuta až do výšky 35 miliónov eur alebo 7 % celkového celosvetového ročného obratu podniku za predchádzajúci finančný rok, podľa pravidiel AI Actu.
To však neznamená, že každý malý podnik alebo startup automaticky dostane pokutu 35 miliónov eur. Pri ukladaní sankcie sa posudzujú konkrétne okolnosti a AI Act obsahuje osobitné pravidlá aj pre menšie podniky.
Výška maximálnej sankcie však dobre ukazuje, ako vážne Európska únia tieto praktiky vníma.
Pre konateľa s.r.o., startup či inú firmu by preto nemalo byť právne preverenie AI produktu otázkou, ktorú začne riešiť až po spustení služby.