Wyrób medyczny wykorzystuje AI. Kiedy producent musi stosować jednocześnie MDR i AI Act?

Zdjęcie: Wyrób medyczny wykorzystuje AI. Kiedy producent musi stosować jednocześnie MDR i AI Act?

Wyrób medyczny wykorzystuje AI. Kiedy producent musi stosować jednocześnie MDR i AI Act? Sztuczna inteligencja coraz częściej staje się elementem wyrobów medycznych. Algorytmy analizują obrazy diagnostyczne, wspierają wykrywanie zmian chorobowych, przetwarzają dane pacjentów czy pomagają profesjonalistom medycznym w podejmowaniu decyzji. Dla producenta pojawia się jednak problem, który łatwo przeoczyć: produkt spełniający wymagania MDR może jednocześnie podlegać obowiązkom wynikającym z AI Act.Nie oznacza to, iż każdy wyrób wykorzystujący algorytm automatycznie staje się systemem AI wysokiego ryzyka. Nie oznacza również, iż spełnienie wymagań MDR pozwala uznać obowiązki wynikające z AI Act za wykonane. Punktem wyjścia musi być prawidłowa kwalifikacja konkretnego rozwiązania.Pierwsze pytanie powinno więc brzmieć: czy funkcjonalność zastosowana w wyrobie w ogóle jest systemem AI w rozumieniu rozporządzenia 2024/1689?AI Act posługuje się własną definicją systemu sztucznej inteligencji. Sam fakt, iż producent określa swój produkt jako „AI-powered”, „inteligentny” albo wykorzystujący zaawansowany algorytm, nie rozstrzyga jego kwalifikacji prawnej. I odwrotnie – brak określenia „AI” w materiałach marketingowych nie pozwala uniknąć stosowania rozporządzenia, o ile sposób działania systemu odpowiada jego ustawowej definicji. To pierwsza kwalifikacja, którą producent powinien przeprowadzić i udokumentować.Drugim etapem jest ustalenie relacji pomiędzy AI Act a MDR. Rozporządzenie 2017/745 w sprawie wyrobów medycznych zostało wymienione w załączniku I do AI Act jako jeden z aktów unijnego prawodawstwa harmonizacyjnego. Ma to istotne konsekwencje. Zgodnie z art. 6 ust. 1 AI Act system AI zostaje zakwalifikowany jako system wysokiego ryzyka, o ile spełnione są łącznie dwa warunki. Po pierwsze, jest przeznaczony do wykorzystania jako związany z bezpieczeństwem element produktu objętego regulacją wymienioną w załączniku I albo sam jest takim produktem. Po drugie, produkt ten podlega ocenie zgodności przez stronę trzecią przed wprowadzeniem do obrotu lub oddaniem do użytku.W przypadku wyrobów medycznych oznacza to, iż część systemów AI podlegających MDR będzie jednocześnie systemami AI wysokiego ryzyka. Nie można jednak postawić znaku równości pomiędzy wyrobem medycznym wykorzystującym AI a systemem AI wysokiego ryzyka.Znaczenie ma klasyfikacja wyrobu i wynikająca z niej procedura oceny zgodności. o ile zgodnie z MDR udział jednostki notyfikowanej w ocenie zgodności nie jest wymagany, sama okoliczność, iż produkt jest wyrobem medycznym wykorzystującym AI, nie powoduje automatycznie zakwalifikowania go jako systemu wysokiego ryzyka na podstawie art. 6 ust. 1 AI Act.Jest to istotne zwłaszcza dla producentów systemu medycznego. O kwalifikacji nie decyduje bowiem hasło „medical AI”, ale konkretna funkcja systemu, jego przewidziane zastosowanie, znaczenie dla bezpieczeństwa produktu oraz procedura oceny zgodności adekwatna na gruncie MDR.Co szczególnie istotne, zakwalifikowanie systemu jako systemu AI wysokiego ryzyka na podstawie AI Act nie oznacza automatycznie, iż sam wyrób staje się wyrobem „wysokiego ryzyka” według MDR. Są to dwa odrębne systemy klasyfikacji, oparte na różnych kryteriach.Producent powinien więc dokonać dwóch analiz, a następnie ustalić, w których miejscach wynikające z nich obowiązki się pokrywają. To właśnie w tym miejscu zaczyna się praktycznie najtrudniejsza część stosowania nowych regulacji.Producent wyrobu medycznego już na podstawie MDR musi posiadać system zarządzania jakością, prowadzić zarządzanie ryzykiem, przygotować dokumentację techniczną, wykazać bezpieczeństwo i działanie wyrobu oraz prowadzić nadzór po wprowadzeniu go do obrotu. AI Act dla systemów wysokiego ryzyka również przewiduje wymagania dotyczące między innymi systemu zarządzania ryzykiem, dokumentacji technicznej, rejestrowania zdarzeń, jakości danych, przejrzystości, nadzoru człowieka, dokładności, odporności i cyberbezpieczeństwa.Na pierwszy rzut oka może się więc wydawać, iż producent będzie musiał prowadzić dwa równoległe systemy compliance. Założenie unijnego prawodawcy jest jednak inne. W przypadku systemów AI związanych z produktami objętymi regulacjami sektorowymi wymagania AI Act mają zostać w możliwie szerokim zakresie zintegrowane z istniejącymi procedurami dotyczącymi produktu. Nie oznacza to jednak, iż producent może poprzestać na swojej dotychczasowej dokumentacji MDR. Powinien przeprowadzić analizę luk i ustalić, które wymagania AI Act są już rzeczywiście pokrywane przez istniejący system jakości oraz dokumentację, a które wymagają uzupełnienia.Dobrym przykładem jest zarządzanie ryzykiem. MDR wymaga identyfikacji i kontroli ryzyk związanych z wyrobem przez cały jego cykl życia. W systemach wykorzystujących AI pojawiają się jednak ryzyka charakterystyczne dla tej technologii: zależność wyników od danych, możliwość pogorszenia działania modelu, nieprzewidywalność określonych rezultatów, błędy wynikające ze sposobu interakcji człowieka z systemem czy ryzyko nadmiernego zaufania użytkownika do rekomendacji algorytmu.Podobnie wygląda kwestia danych. W klasycznym wyrobie medycznym dokumentacja koncentruje się przede wszystkim na bezpieczeństwie i działaniu produktu. W przypadku AI znaczenia nabiera także jakość zbiorów danych wykorzystywanych do trenowania, walidacji i testowania systemu oraz ich adekwatność do przewidzianego zastosowania.Kolejnym obszarem jest nadzór człowieka. o ile system wspiera lekarza przy podejmowaniu decyzji, nie wystarczy zamieszczenie w instrukcji ogólnego stwierdzenia, iż ostateczna decyzja należy do profesjonalisty medycznego. Producent powinien uwzględnić sposób rzeczywistej interakcji użytkownika z systemem, możliwość zrozumienia jego rezultatów oraz ryzyko automatycznego przyjmowania rekomendacji AI.Szczególnego znaczenia nabiera również monitoring po wprowadzeniu produktu do obrotu. W przypadku klasycznego urządzenia charakterystyka produktu po jego wprowadzeniu na rynek jest co do zasady stabilna. W przypadku systemu wykorzystującego AI sytuacja może być bardziej skomplikowana. Aktualizacja modelu, zmiana danych, modyfikacja algorytmu czy dodanie nowej funkcjonalności mogą wpływać na działanie systemu.Producent musi więc patrzeć na zgodność produktu nie jako na jednorazowy projekt zakończony uzyskaniem oznakowania CE, ale jako na proces obejmujący cały cykl życia rozwiązania.Ma to również znaczenie przy współpracy z dostawcami technologii. Producent wyrobu medycznego może korzystać z modelu AI, infrastruktury chmurowej, bibliotek programistycznych czy innych komponentów dostarczanych przez podmioty trzecie. Z perspektywy biznesowej jest to naturalny model funkcjonowania rynku. Z perspektywy regulacyjnej rodzi jednak pytanie, czy producent posiada wystarczającą kontrolę nad elementem technologii, za którego działanie ostatecznie odpowiada jego produkt.Umowa z dostawcą przestaje wtedy być wyłącznie umową IT. Powinna zapewniać producentowi dostęp do informacji potrzebnych do prowadzenia dokumentacji, oceny ryzyka i wykazania zgodności, określać zasady aktualizacji technologii, obowiązki informacyjne dotyczące zmian oraz współpracę przy incydentach i działaniach naprawczych. Brak takich mechanizmów może doprowadzić do sytuacji, w której producent formalnie odpowiada za zgodność wyrobu, ale nie posiada informacji pozwalających tę zgodność wykazać.To pokazuje, dlaczego AI Act nie powinien być w przedsiębiorstwie produkującym wyroby medyczne traktowany jako odrębny projekt działu prawnego czy compliance. Prawidłowe przygotowanie wymaga współpracy osób odpowiedzialnych za regulatory affairs, jakość, rozwój produktu, IT, cyberbezpieczeństwo, badania kliniczne oraz kwestie prawne. Decyzje podejmowane na etapie projektowania systemu mogą bowiem później bezpośrednio wpływać na zakres obowiązków regulacyjnych.Dla producentów najważniejsze jest więc dzisiaj przeprowadzenie prawidłowej kwalifikacji swoich produktów.Czy wykorzystywane rozwiązanie spełnia definicję systemu AI? Czy