Směřuje regulace AI k transparentnosti, nebo cenzuře?

Vysoké riziko – systémy používané v citlivých oblastech, jako jsou zdravotnictví, justice, doprava, vzdělávání nebo trh práce, zejména pro nábor zaměstnanců. Musejí splňovat přísné požadavky na bezpečnost, transparentnost a vysvětlitelnost a musejí být pod dohledem příslušných orgánů.

Systémy umělé inteligence, které mají negativní dopad na bezpečnost nebo základní práva, se dělí do dvou kategorií.

Systémy umělé inteligence používané v produktech, na něž se vztahují právní předpisy EU o bezpečnosti výrobků. Patří sem hračky, letectví, automobily, zdravotnické prostředky a výtahy.

Systémy AI spadající do osmi konkrétních oblastí, které budou muset být registrovány v databázi EU:

• biometrická identifikace a kategorizace fyzických osob
• správa a provoz kritické infrastruktury
• vzdělávání a odborná příprava
• zaměstnanost, řízení pracovní síly a přístup k samostatné výdělečné činnosti
• vymáhání práva
• migrace, azyl a řízení hraniční kontroly
• pomoc s výkladem a uplatňováním práva
• přístup k základním soukromým a veřejným službám a dávkám a jejich využívání

Kategorie řízení a provozu kritické infrastruktury zahrnuje také dopravní systémy, jako jsou autonomní vozidla. Tyto systémy budou moci fungovat, ale budou muset splňovat přísné podmínky: prokazatelnou kvalitu dat, transparentnost, lidský dohled a jasnou odpovědnost. Všechny vysoce rizikové systémy umělé inteligence budou posuzovány před uvedením na trh a po celou dobu jejich životního cyklu. Občané budou mít právo podávat stížnosti na systémy umělé inteligence u určených vnitrostátních orgánů.

Omezené riziko – sem patří například chatboty nebo doporučovací systémy, jako jsou doporučení filmů Netflixu nebo personalizovaná reklama. Základním požadavkem je, aby uživatel věděl, že komunikuje s AI, a ne s člověkem. Generativní AI, jako je ChatGPT, nebude klasifikována jako vysoce riziková, ale bude muset splňovat požadavky na transparentnost a dodržování autorských práv EU. V praxi to znamená zveřejnit, že obsah byl generován umělou inteligencí, navrhnout model tak, aby zabránil vytváření nelegálního obsahu, a zveřejnit souhrny údajů chráněných autorskými právy, které byly použity k výcviku AI.

Minimální riziko – systémy AI, které představují pouze zanedbatelné riziko, jako jsou filtry spamu, hry založené na AI, personalizovaná doporučení nebo jednoduché analytické nástroje, podléhají minimální regulaci.

Specifické požadavky na vývojáře a uživatele AI

Zákon stanoví jasné povinnosti pro každého, kdo vyvíjí nebo používá AI. Vývojáři musejí zajistit, aby jejich systémy byly bezpečné, nestranné a testované na možné chyby. Musejí vést podrobnou dokumentaci o tom, jak jejich AI funguje, a být připraveni ji předložit orgánům. Uživatelé AI musejí být jasně informováni o tom, že mají co do činění s AI, a musejí mít možnost se rozhodnout, zda ji chtějí používat. Pro společnosti to znamená vyšší náklady na vývoj a provoz AI, ale také větší důvěryhodnost a konkurenční výhodu na trhu, kde bezpečnost a spravedlnost nabývají na významu. Pro občany to znamená větší ochranu jejich práv a soukromí.

AI a ochrana údajů, transparentnost a vysvětlitelnost

Jednou z největších výzev je ochrana osobních údajů. Systémy AI často pracují s obrovským množstvím dat včetně citlivých informací. Zákon o AI vychází z GDPR, který již chrání osobní údaje v EU. Nová pravidla například vyžadují, aby systémy umělé inteligence zpracovávaly pouze data, která skutečně potřebují, a aby bylo jasné, jak jsou tato data používána. 

Důležitým principem nařízení je, že rozhodnutí AI musejí být vysvětlitelná. Pokud například AI rozhodne, že někdo nedostane půjčku nebo práci, musí být jasně vysvětleno, na základě jakých údajů a kritérií bylo toto rozhodnutí učiněno. Cílem je zabránit diskriminaci a posílit důvěru v tyto systémy.

Inovace chráněné pravidly

Ne všichni jsou s novým nařízením spokojeni. Někteří odborníci se obávají, že přísná pravidla potlačí inovace a zvýší administrativní zátěž pro společnosti, zejména ty menší. Jiní naopak tvrdí, že pravidla nejsou dostatečně přísná a že některá rizika umělé inteligence nejsou dostatečně řešena. Jde o kompromis, který bude pravděpodobně v průběhu času upraven na základě praktických zkušeností.

Cílem nařízení není bránit rozvoji umělé inteligence, právě naopak. Stanovením jasných pravidel chce EU vytvořit bezpečné a předvídatelné prostředí pro inovace. Společnosti budou vědět, jaké požadavky musejí splnit, a občané budou mít jistotu, že AI pro ně nepředstavuje hrozbu. Pravidla také zahrnují zvláštní výjimky pro vědecký výzkum a experimentální projekty, aby podpořila hledání nových řešení.

Jaké změny můžeme očekávat?

Zákon o umělé inteligenci se bude zavádět postupně. Největší změny pocítí společnosti a veřejné instituce, které umělou inteligenci využívají ve velkém měřítku. Běžní uživatelé tyto změny možná ani nezaznamenají, ale budou lépe chráněni. Pokud například obdrží rozhodnutí od banky nebo úřadu, které je založeno na umělé inteligenci, budou mít právo na vysvětlení a možnost rozhodnutí napadnout. 

Pro běžného člověka to znamená, že se může spolehnout na to, že nadcházející inovace budou podléhat větší kontrole a budou klást důraz na ochranu jeho práv a bezpečnosti. Stejně jako jsme si zvykli na bezpečnostní pásy v autech, i pravidla pro AI se mohou stát přirozenou součástí našeho digitálního života.

Autor je redaktor Nextech

Článek vyšel v magazínu CIOtrends 5/2025. Koupit si ho můžete zde.

CIOtrends si můžete objednat i jako klasický časopis (v tištěné i v digitální podobně) Věnujeme se nejnovějším technologiím a efektivnímu řízení podnikové informatiky. Přinášíme nové ekonomické trendy a analýzy a zejména praktické informace z oblasti podnikového IT se zaměřením na obchodní a podnikatelské přínosy informačních technologií. Nabízíme možná řešení problémů spojených s podnikovým IT v období omezených rozpočtů. Naší cílovou skupinou je vyšší management ze všech odvětví ekonomiky.