AI Act – co oznacza dla branży farmaceutycznej oraz rynku wyrobów medycznych… i nie tylko?! - Blogi Kancelarii Domański Zakrzewski Palinka

Na początku grudnia 2023 r. spore zamieszanie na rynku wprowadziła informacja, że państwa UE osiągnęły konsensus co do wejścia w życie AI Act. Choć nagłówki krzyczały, że „AI Act wchodzi w życie” to lojalnie uprzedzamy, że akt wymaga jeszcze uzyskania akceptacji Parlamentu Europejskiego.

Następnie, pod koniec stycznia, światło dzienne ujrzała również kolejna, dopracowana wersja projektu legislacyjnego. Uwzględniono w niej zmiany wynikające z ostatnich jeszcze uwag i zastrzeżeń niektórych z państw członkowskich – nadal jednak mamy do czynienia tylko z projektem legislacyjnym.

Oczywiście jednak nie oznacza to, że powinniśmy te wiadomości i temat AI Act zignorować. Aktualna sytuacja polityczna oraz fakt osiągnięcia (według ostatnich doniesień) porozumienia (również z dotąd oponującymi państwami), wskazują, że możemy się spodziewać publikacji w unijnym dzienniku już wkrótce. Wówczas Unia Europejska będzie najprawdopodobniej pierwszym obszarem, który tak kompleksowo ureguluje zastosowanie sztucznej inteligencji (AI) oraz uczenia maszynowego (ML) w biznesie.

1. CO OZNACZA AI ACT DLA WYROBÓW MEDYCZNYCH?

AI Act określa systemem sztucznej inteligencji każdy system:

maszynowy i zaprojektowany do działania z różnym poziomem autonomii, który może wykazywać zdolność adaptacji po wdrożeniu; oraz
dla wyraźnych, dorozumianych lub ukrytych celów wnioskuje na podstawie otrzymanych danych wejściowych i w taki sposób generuje dane wyjściowe, takie jak prognozy, treści, zalecenia lub decyzje – a które to mogą wpływać na środowisko fizyczne lub wirtualne.

Takie systemy – ogólnie rzecz ujmując – objęte są zakresem AI Act niezależnie od celu i zastosowania takiego systemu. W konsekwencji, stosowanie AI Act będzie mieć miejsce w bardzo wielu sektorach i gałęziach gospodarki.

Równocześnie, sam akt podkreśla że nawet zastosowanie innych regulacji zharmonizowanych dla konkretnego systemu nie będzie wykluczać AI Act. Przykładowo, dla branży wyrobowej, będą to przede wszystkim rozporządzenia 2017/745 ws. wyrobów medycznych – MDR – oraz 2017/746 ws. wyrobów medycznych do diagnostyki in vitro – IVDR, gdzie wówczas konieczne może być respektowanie również AI Act.

W praktyce więc wyroby medyczne wykorzystujące narzędzia AI czy ML będą musiały:

zostać ocenione nie tylko z punktu widzenia tego, czy są wyrobem medycznym w rozumieniu MDR / IVDR, ale tez systemem o którym mowa w AI Act;
jeśli dojdziemy do wniosku, że dany wyrób jest wyrobem medycznym w rozumieniu MDR / IVDR oraz systemem w rozumieniu AI Act – produkt, producent oraz inne podmioty w łańcuchu dostaw muszą spełniać wymogi i obowiązki nie tylko z rozporządzenia wyrobów medycznych, ale również AI Act.

2. LISTA OBOWIĄZKÓW SIĘ POSZERZA?

KROK I: JAKIE RYZYKO WIĄŻE SIĘ Z SYSTEMEM I JAK TO USTALIĆ?

W praktyce, dla ustalenia zakresu obowiązków, kluczowe jest rozstrzygnięcie przede wszystkim:

czy mamy do czynienia z systemem ogólnego przeznaczenia;
czy mamy do czynienia z systemem wysokiego ryzyka czy też nie.

Ostatnia styczniowa aktualizacja – jako efekt wypracowanego kompromisu – jeszcze bardziej zliberalizowała obowiązki związane z systemami ogólnego przeznaczenia. Po zmianach styczniowych mówimy tu o obowiązkach dość horyzontalnych i ogólnych. Należy podkreślić, że był to jeden z istotniejszych elementów, opóźniających uzyskanie akceptacji niektórych państw członkowskich. Mówimy tutaj bowiem o najprostszych, często powszechnie dostępnych modelach, a liberalizacja obowiązków w tym zakresie miała na celu przede wszystkim ułatwienie aktywności młodym start-upom.

W zakresie samych systemów ogólnego przeznaczenia, prawodawca przewiduje tutaj również dodatkowy podział, wyróżniając tu np. typ obarczony ryzykiem systemowym czy o wysokich możliwościach oddziaływania.

Jeśli jednak system ogólnego przeznaczenia będzie komponentem systemu wysokiego ryzyka albo nawet będzie mógł być wykorzystywany jako system wysokiego ryzyka (a więc nawet nie musi być do tego przeznaczony), wówczas część obowiązków przypisanych systemom wysokiego ryzyka może być nieunikniona. Przykładowo, możemy tu mówić o przeprowadzeniu oceny zgodności czy przechowywaniu dokumentacji technicznej.

Największy zakres obowiązków – jak łatwo się domyśleć – dotyczyć będzie jednak systemów zakwalifikowanych jako systemy wysokiego ryzyka czy też ich dostawców. Unijny prawodawca wskazuje, że właśnie kwalifikacja produktu używającego AI jako wyrób medyczny może przyczynić się do zakwalifikowania konkretnego systemu jako systemu wysokiego ryzyka.

I choć powyższe kryteria i podziały na papierze zdają się brzmieć odrobinę teoretycznie to w praktyce rola zaufanych doradców będzie tu kluczowa. Prawidłowa klasyfikacja mojego systemu będzie tu bowiem podstawą do ustalenia co przedsiębiorca musi, a czego nie. Stworzenie przez prawodawcę wyjątków zawsze wymaga bardzo szczegółowej analizy prawnej – aby nie zarzucić nikomu naruszenia prawa.

KROK II: JAKĄ ROLĘ JAKO PRZEDSIĘBIORCA PEŁNIĘ W ŁAŃCUCHU DOSTAW?

AI Act wyróżnia następujących uczestników łańcucha dostaw systemu, którzy posiadają określone obowiązki:

dostawcę,
producenta (co dotyczy produktów wykorzystujących AI i podlegających innym regulacjom zharmonizowanym – a więc np. producenta wyrobu medycznego),
importera,
dystrybutora,
użytkownika.

AI Act za dostawcę uznaje podmiot, który opracowuje system sztucznej inteligencji lub zleca jego opracowanie w celu wprowadzenia go do obrotu lub oddania go do użytku pod własną nazwą handlową lub własnym znakiem towarowym. W praktyce więc kluczowe będzie nie tyle stworzenie takiego systemu, ale wprowadzenie go na rynek pod własną marką.

W większości przypadków, dostawca systemu – przed wprowadzeniem systemu na rynek – będzie musiał m.in.:

ustanowić skuteczny system zarządzania jakością,
zapewnić przeprowadzenie wymaganej procedury oceny zgodności i oznakowanie CE,
sporządzić deklarację zgodności oraz odpowiednią dokumentację i
ustanowić system monitorowania po wprowadzeniu do obrotu.

Większość tych obowiązków będzie dotyczyła przede wszystkim systemów wysokiego ryzyka. Dlatego często producenci wyrobów medycznych mogą stać się siłą rzeczy również dostawcami systemów (a nawet dostawcami systemów wysokiego ryzyka). Wówczas będą zobowiązani nie tylko zapewnić system zarządzania jakością, dokumentację techniczną, procedurę oceny zgodności i system monitorowania po wprowadzeniu do obrotu zgodne z wymogami MDR czy IVDR. Lista owych wymogów zostanie poszerzona o wymogi regulacyjne określone w AI Act. W efekcie, w wielu przypadkach konieczny może stać się również udział jednostki notyfikowanej nie tylko na gruncie regulacji wyrobowych, ale również oceniających zgodność wg. AI Act.

Obowiązki związane z odpowiednią i bieżącą weryfikacją – nie tylko co do regulacji wyrobowych – AI Act przewiduje również dla dystrybutorów i importerów. Równocześnie użytkownicy systemów wysokiego ryzyka będą zobowiązani przez AI Act do np.:

działania w ramach instrukcji,
zapewnienia sprawowania nadzoru i wsparcia osoby fizycznej nad wykorzystywanym systemem,
zapewnienia kontroli nad danymi wejściowymi i ich adekwatnością,
przechowywania rejestrów zdarzeń, jak i przekazywanie informacji o takich zdarzeniach.

W efekcie, także i te obowiązki mogą dotknąć sektor wyrobowy. Kluczowe będzie tu jednak ustalenie przez przedsiębiorcę, jaką rolę pełni w świetle AI Act (nawet jeśli byłby już producentem według MDR).

3. JAKICH JESZCZE PRZEDSIĘBIORCÓW DOTKNIE AI ACT?

Mówiąc krótko – może dotknąć każdego, kto wykorzystuje w prowadzonej działalności narzędzia AI czy ML. Jak wspominaliśmy powyżej, samo objęcie już wcześniej konkretnego produktu innym (nawet unijnym) prawodawstwem zharmonizowanym, nie wyklucza zastosowania wobec niego również AI Act. W efekcie, nie tylko sektor wyrobowy, ale też przemysł maszynowy czy nawet sektor finansowy, jak i każdy przedsiębiorca wykorzystujący AI w swoich działaniach będzie musiał choć na chwilę pochylić się nad tą kwestią. Celem owego „pochylenia się” może być choćby to, aby zastosowanie AI Act w tym konkretnym przypadku wykluczyć.

Teoretycznie również, AI Act powinien mieć zastosowanie wyłącznie do systemów w obrębie UE. Jednakże, ze względu na cyfrowy charakter, prawodawca unijny dostrzega tu wyjątki. Dotyczy to choćby sytuacji, gdzie operator ma siedzibę w UE, ale zleca określone usługi operatorowi z państwa trzeciego i zlecenie to ma związek z działaniem, które ma być wykonywane przez system sztucznej inteligencji wysokiego ryzyka. Wówczas mogłoby dojść do sytuacji, gdzie operator spoza Unii mógłby przetwarzać dane legalnie zgromadzone w UE i przekazane poza nią, a tak przetwarzane dane „wróciłyby” do UE – natomiast sam system nie byłby obecny na rynku UE i tu wykorzystywany. Dlatego, aby zapobiec obchodzeniu przepisów, unijny prawodawca chce rozszerzyć zastosowanie AI Act również na takie sytuacje, choć i tu prawodawca – w najnowszej wersji projektu – doprecyzował bardziej ścisłe wyjątki od tej reguły.

4. KIEDY AI ACT NIE BĘDZIE MÓGŁ BYĆ STOSOWANY?

Równocześnie, należy mieć na uwadze, że AI Act zastrzega sytuacje, gdzie narzędzia AI będą wykluczone. Chodzi tu np. o systemy przeznaczone do stosowania technik podprogowych czy też innych technik manipulacyjnych celem istotnego zniekształcenia zachowania tej osoby w sposób z ryzykiem szkody fizycznej lub psychicznej. Nie będzie również możliwe stosowanie systemów wykorzystujących słabości określonej osoby lub grupy ze względu na ich wiek, niepełnosprawność lub szczególną sytuację społeczną lub ekonomiczną; jak i takich na potrzeby oceny lub klasyfikacji ludzi, prowadzonej przez określony czas. Dotyczy to sytuacji, jeśli ocena ma być formułowana na podstawie ich zachowania społecznego lub znanych bądź przewidywanych cech osobistych lub cech osobowości. Ustawodawca znacznie ogranicza także możliwość stosowania systemów AI Act do nadzoru nad stosowaniem prawa czy egzekucji z tym związanych. System nie mógłby być również przeznaczony do kategoryzacji indywidualnej konkretnej osoby na podstawie danych biometrycznych – przeznaczonych do ustalenia rasy, opinii politycznej, religii, przekonań, życia seksualnego lub orientacji.

Choć opisy owych ograniczeń zdają się być abstrakcyjne, w praktyce AI Act może zwiększyć nadzór nad systemami wykorzystywanymi w branży rekrutacyjnej czy finansowej (a nawet je ograniczyć). Ustawodawca zdaje się bowiem przypisywać duże ryzyko takim systemom, a tym samym wskazuje na szczególne znaczenie danych, na jakich będą one pracować. Zły dobór danych – a tym samym podstaw ML – mógłby bowiem doprowadzić do niesłusznej dyskryminacji określonych płci, narodowości, grup etnicznych lub społecznych w procesie rekrutacji czy przyznawania kredytów.

5. AI ACT I EMA – CZYLI NA CO MUSZĄ UWAŻAĆ PRZEDSIĘBIORCY Z BRAŻY FARMACEUTYCZNEJ?

Nie od dziś wiadomo, że narzędzia AI Act stosowane są powszechnie na etapie opracowywania produktów leczniczych, badań klinicznych, tworzenia dokumentacji niezbędnej do rejestracji takiego produktu, a następnie jego wytwarzania czy wprowadzania i udostępnienia na rynku. W efekcie podmioty w branży farmaceutycznej na każdym z powyższych etapów, jeśli wykorzystują narzędzia AI czy ML, mogą zostać uznane za – co najmniej – użytkownika takiego systemu.

Wówczas konieczne będzie spełnienie obowiązków użytkownika. To zaś może nawet częściowo reorganizować niektóre dotychczas stosowane w przedsiębiorstwie praktyki.

Równocześnie powszechność stosowania tych narzędzi (a tym samym nieuniknioność tego zjawiska) dostrzega sama EMA. W związku z powyższym, opracowane zostały – już kolejne – przewodniki i wytyczne, które wskazują na co szczególnie będzie musiał zwrócić uwagę sektor farmaceutyczny przy użyciu narzędzi AI i ML. Dlatego podmioty na rynku farmaceutycznym będą zobowiązane zapoznać się nie tylko z AI Act, ale również z każdym kolejno wydawanym przewodnikiem i wytycznymi EMA. Tym samym sama EMA zapowiada, że jej działania dopiero „nabierają rozpędu”, a więc opracowane przez EMA dokumenty mogą w istotny sposób uzupełnić dotychczasowe dobre praktyki.

6. KIEDY AI ACT WEJDZIE W ŻYCIE?

Projekt zakłada, że po uzyskaniu akceptacji PE i publikacji aktu, wchodzi w życie po 20. dniach. Większość obowiązków będzie jednak musiało być stosowanych dopiero 24 miesiące po tej dacie. Niektóre obowiązki wejdą jednak w życie wcześniej , przykładowo:

6 miesięcy od daty wejścia w życie – np. dla podstawowych zasad i definicji oraz zakazanych praktyk
12 miesięcy – np. dla obowiązków związanych z przejrzystością podmiotów gospodarczych, organów notyfikacyjnych i jednostek notyfikowanych, a także niektórych kar.

Choć czas potencjalnego wdrożenia wydaje się odległy, to ze względu na charakter owych obowiązków – chciałoby się rzec – nic bardziej mylnego. Kształt obowiązków związanych z systemami AI jest niemal bliźniaczo podobny do regulacji wyrobowych w tym zakresie, choć sposób realizacji niektórych obowiązków – w sensie technicznym – może być zgoła inny.

Aby więc potwierdzić to, że wielu z tych obowiązków nie można wdrożyć od ręki – wskazujemy przykład z tamtego „podwórka”. Choć rozporządzenia ws. wyrobów medycznych są z nami od kilku już lat, to wciąż duża część rynku nie zdążyła wdrożyć nowych regulacji. Wynika to z dużego przeciążenia specjalistów w tej dziedzinie, jak i znaczących kosztów z tym związanych. Dlatego warto przystąpić do działania jak najszybciej.

Gdyby chcieli się Państwo dowiedzieć więcej o zakresie obowiązków związanych z AI Act, który miałby zastosowanie w Państwa przypadku, a tym samym umożliwić sobie planowanie działalności w kolejnych miesiącach – zapraszamy do kontaktu.