Jak rozpoznać zakazane praktyki AI w firmie

Od 2 lutego 2025 r. pytanie, jak rozpoznać zakazane praktyki AI, nie jest już wyłącznie zagadnieniem etycznym ani tematem dla zespołu compliance na etapie tworzenia polityk. Rozporządzenie AI Act wprowadziło katalog zastosowań uznanych przez prawodawcę unijnego za niedopuszczalne. W praktyce przedsiębiorcy muszą umieć odróżnić system wymagający dodatkowych obowiązków od rozwiązania, którego nie wolno ani wdrożyć, ani używać w danym celu.

To rozróżnienie ma istotne znaczenie kontraktowe, reputacyjne i organizacyjne. Dostawca może oferować legalny model analityczny lub generatywny, ale jego wykorzystanie przez klienta w konkretnym procesie biznesowym może wejść w zakres zakazu. Sama informacja, iż narzędzie wykorzystuje sztuczną inteligencję, nie przesądza więc o ryzyku. Decydują funkcja systemu, kontekst użycia, kategoria osób, których dotyczy, oraz skutki wywoływane przez wynik działania modelu.

Zakazane praktyki AI: od czego zacząć ocenę

Art. 5 AI Act nie zakazuje technologii jako takiej. Zakazuje określonych praktyk, czyli zastosowań systemów AI połączonych z konkretnym celem i skutkiem. Pierwszym błędem jest zatem pytanie: „czy nasz system AI jest zakazany?”. Trafniejsze pytanie brzmi: „czy sposób, w jaki korzystamy z systemu, realizuje którąkolwiek z zakazanych praktyk?”.

W ocenie należy opisać realny przepływ decyzji. Trzeba ustalić, jakie dane trafiają do narzędzia, co model przewiduje, klasyfikuje lub rekomenduje, kto otrzymuje wynik oraz czy wpływa on na prawa, dostęp do usług, zatrudnienie, edukację albo inne istotne interesy osoby fizycznej. Nazwa produktu, deklaracja producenta czy regulamin platformy nie zastąpią tej analizy.

Warto też zachować ostrożność wobec rozwiązań określanych marketingowo jako „behavioral analytics”, „trust score”, „talent intelligence” albo „emotion recognition”. Te neutralnie brzmiące pojęcia mogą opisywać funkcjonalności, które w pewnych okolicznościach podlegają zakazowi. Compliance powinno badać działanie, a nie etykietę.

Siedem sygnałów, iż praktyka może być niedopuszczalna

1. System wpływa na zachowanie w sposób ukryty lub manipulacyjny

AI Act obejmuje systemy stosujące techniki podprogowe, manipulacyjne lub wprowadzające w błąd, o ile istotnie zniekształcają zachowanie osoby lub grupy osób, ograniczają ich zdolność do podjęcia świadomej decyzji i mogą wyrządzić znaczną szkodę.

Nie każda personalizacja reklamy będzie zatem zakazana. Ryzyko rośnie jednak wtedy, gdy system wykorzystuje mechanizmy niewidoczne dla odbiorcy, aby skłonić go do decyzji sprzecznej z jego interesem, na przykład do zaciągnięcia kosztownego zobowiązania. najważniejsze są tu kumulatywnie: charakter oddziaływania, ograniczenie autonomii decyzji oraz możliwość wystąpienia znaczącej szkody.

2. Narzędzie żeruje na szczególnej podatności użytkownika

Zakazane może być wykorzystywanie podatności osoby wynikającej z jej wieku, niepełnosprawności lub szczególnej sytuacji społecznej bądź ekonomicznej. Przepis nie penalizuje samego kierowania komunikacji do seniorów, dzieci czy osób o niższych dochodach. Problem powstaje, gdy system wykorzystuje tę cechę do istotnego zniekształcenia zachowania, a skutkiem może być znacząca szkoda.

Dla firm z sektorów finansowego, e-commerce i usług cyfrowych oznacza to potrzebę szczególnej kontroli modeli optymalizujących konwersję. Model, który identyfikuje osoby w kryzysie finansowym i intensyfikuje wobec nich przekaz promujący drogie kredytowanie, wymaga znacznie poważniejszej oceny niż zwykła segmentacja klientów.

3. Firma tworzy społeczny scoring osób

AI Act zakazuje oceny lub klasyfikowania osób fizycznych w czasie określonym lub w dłuższym okresie na podstawie ich zachowania społecznego albo znanych, wywnioskowanych czy przewidywanych cech osobistych, o ile prowadzi to do krzywdzącego lub niekorzystnego traktowania. Dodatkowo takie traktowanie musi być niepowiązane z kontekstem pozyskania danych albo nieuzasadnione lub nieproporcjonalne wobec zachowania.

Nie każda punktacja klienta jest zakazanym scoringiem społecznym. Bankowa ocena zdolności kredytowej czy narzędzie antyfraudowe mogą podlegać innym reżimom AI Act i RODO, ale nie muszą realizować zakazu z art. 5. Granica jest przekraczana, gdy rozproszony zbiór informacji o stylu życia, aktywności lub domniemanych cechach służy do generalnej oceny „wartości” człowieka i wywołuje nieadekwatne konsekwencje.

4. AI przewiduje popełnienie przestępstwa wyłącznie na podstawie profilu osoby

Niedopuszczalne jest wykorzystywanie AI do oceny lub przewidywania ryzyka popełnienia przestępstwa przez osobę fizyczną wyłącznie na podstawie profilowania albo oceny cech i adekwatności osobowości. Prawodawca odrzuca założenie, iż profil statystyczny, osobowość czy przeszłe wzorce zachowania wystarczą do przypisania jednostce ryzyka przestępczego.

Zakaz nie wyklucza analizy obiektywnych i weryfikowalnych faktów bezpośrednio związanych z działalnością przestępczą. Ta różnica ma znaczenie zwłaszcza dla podmiotów tworzących rozwiązania dla bezpieczeństwa, ubezpieczeń lub sektora publicznego. Model oparty na konkretnych zdarzeniach wymaga odrębnej podstawy i oceny prawnej, ale model oznaczający osobę jako potencjalnego sprawcę na podstawie cech psychologicznych lub społecznych wchodzi w obszar zakazu.

5. Baza twarzy powstaje przez masowe pobieranie obrazów z internetu

AI Act zakazuje wprowadzania do obrotu, oddawania do użytku oraz używania systemów AI tworzących lub rozszerzających bazy danych rozpoznawania twarzy poprzez nietargetowane pozyskiwanie wizerunków twarzy z internetu lub nagrań CCTV. Istotne jest określenie „nietargetowane”. Chodzi o masowe, nieukierunkowane gromadzenie materiału, także wtedy, gdy obrazy były publicznie dostępne.

Dla zespołów rozwijających modele komputerowego widzenia to sygnał, iż legalność źródła danych nie może być oceniana wyłącznie przez pryzmat publicznej dostępności. Należy badać sposób zbierania danych, cel budowy zbioru oraz funkcję rozpoznawania twarzy. Równolegle pojawiają się zagadnienia ochrony danych osobowych, praw autorskich i warunków korzystania z serwisów, z których materiał pozyskano.

6. Pracodawca lub szkoła „czyta emocje” z twarzy albo głosu

Co do zasady zakazane jest stosowanie systemów rozpoznawania emocji w miejscu pracy oraz w instytucjach edukacyjnych. Dotyczy to na przykład analizy mimiki, tonu głosu czy innych sygnałów biometrycznych w celu wnioskowania o stanie emocjonalnym pracownika, kandydata lub ucznia.

Istnieją wąskie wyjątki odnoszące się do zastosowań medycznych lub związanych z bezpieczeństwem. Nie należy jednak traktować ich jako ogólnego uzasadnienia dla monitorowania dobrostanu zespołu, oceny zaangażowania podczas spotkań online czy automatycznej selekcji kandydatów. W relacji pracodawca-pracownik pozorna dobrowolność zwykle nie usuwa problemu nierównowagi stron ani zakazu wynikającego z AI Act.

7. System kategoryzuje biometrycznie i wyciąga wnioski o cechach wrażliwych

Zakazane są systemy kategoryzacji biometrycznej, które indywidualnie klasyfikują osoby fizyczne i wyciągają wnioski dotyczące m.in. rasy, poglądów politycznych, przynależności związkowej, przekonań religijnych lub światopoglądowych, życia seksualnego albo orientacji seksualnej. W praktyce szczególnie ryzykowne są produkty obiecujące rozpoznawanie takich cech na podstawie zdjęcia, nagrania głosu lub wideo.

Nie każdy biometr yczny proces identyfikacji jest objęty tym zakazem. AI Act inaczej traktuje na przykład techniczne filtrowanie zbiorów danych czy kategoryzację danych zgodnie z prawem, gdy służy celom ścigania przestępstw. W działalności komercyjnej należy jednak przyjąć zasadę wysokiej ostrożności: deklaracja, iż model jedynie „szacuje prawdopodobieństwo”, nie neutralizuje ryzyka, o ile wynik ma charakter wniosku o cesze chronionej.

Szczególny przypadek: zdalna identyfikacja biometryczna w przestrzeni publicznej

AI Act co do zasady zakazuje używania systemów zdalnej identyfikacji biometrycznej działających w czasie rzeczywistym w przestrzeniach publicznie dostępnych na potrzeby ścigania przestępstw. Rozporządzenie przewiduje jednak ograniczone wyjątki, między innymi w odniesieniu do poszukiwania ofiar określonych przestępstw, zapobiegania bezpośredniemu i poważnemu zagrożeniu lub identyfikacji podejrzanych o poważne czyny.

To nie jest jednak otwarte upoważnienie dla dowolnego monitoringu. Wyjątki obwarowano przesłankami konieczności, proporcjonalności, ograniczenia czasowego, geograficznego i osobowego, a także wymogami autoryzacyjnymi. Dla prywatnych przedsiębiorców podstawowy wniosek jest prosty: sprzedaż technologii organowi publicznemu nie zwalnia z obowiązku oceny, czy przewidziane użycie nie prowadzi do niedopuszczalnej praktyki.

Jak zorganizować kontrolę przed wdrożeniem

Najskuteczniejsza kontrola nie polega na jednorazowym podpisaniu checklisty. Powinna zostać włączona do procesu zakupowego, projektowego i zarządczego. Na etapie inicjacji projektu właściciel biznesowy powinien opisać cel systemu, grupę użytkowników i osoby, których dane lub interesy będą objęte działaniem AI. Następnie zespół prawny, compliance oraz bezpieczeństwa oceniają funkcje mogące odpowiadać katalogowi z art. 5 AI Act.

Jeżeli narzędzie pochodzi od zewnętrznego dostawcy, należy żądać nie tylko ogólnego zapewnienia zgodności. Potrzebne są informacje o zamierzonym przeznaczeniu systemu, danych treningowych i wejściowych w zakresie adekwatnym do ryzyka, ograniczeniach modelu, mechanizmach nadzoru człowieka oraz możliwościach konfiguracji. Szczególne znaczenie ma prawo do audytu i obowiązek dostawcy informowania o istotnych zmianach produktu.

Warto dokumentować również decyzję negatywną, czyli rezygnację z funkcji obarczonej zakazem. Taka dokumentacja pokazuje, iż governance AI nie jest deklaracją, ale elementem realnego zarządzania ryzykiem. W razie kontroli lub sporu pozwala odtworzyć, jakie założenia przyjęto i dlaczego określone rozwiązanie nie zostało uruchomione.

Zakazane praktyki AI wymagają szczególnej czujności, ale ich identyfikacja nie musi oznaczać zatrzymania innowacji. Często adekwatną odpowiedzią jest zmiana celu, zakresu danych albo sposobu wykorzystania wyniku modelu. Dobrze zaprojektowany proces oceny pozwala podjąć tę decyzję zanim technologia stanie się kosztownym problemem prawnym i biznesowym.