Jak odróżnić narzędzie pomocnicze od systemu AI wymagającego oceny zgodności w farmacji

Sztuczna inteligencja coraz częściej przyspiesza analizę ogromnych zbiorów danych w projektach farmaceutycznych, od badań klinicznych po procesy produkcyjne. Jednak wraz z rosnącym potencjałem pojawiają się nowe obowiązki regulacyjne. Rozporządzenie AI Act, które weszło w życie 1 sierpnia 2024 roku, wymaga precyzyjnej oceny wdrażanych systemów. W branży farmaceutycznej kluczowe staje się rozróżnienie, czy dane narzędzie AI pełni jedynie funkcję pomocniczą, czy też kwalifikuje się jako system wysokiego ryzyka, podlegający surowym wymogom zgodności.

Kwalifikacja systemu AI według faktycznego użycia

O klasyfikacji narzędzia AI nie decyduje jego marketingowa nazwa czy technologia, ale jego zamierzony cel użycia (intended purpose) i rzeczywisty wpływ na podejmowane decyzje. AI Act dzieli systemy na kategorie ryzyka, od minimalnego po niedopuszczalne. Systemy wysokiego ryzyka to te, które mogą oddziaływać na zdrowie, bezpieczeństwo lub prawa podstawowe. Proste narzędzie pomocnicze jedynie wspiera pracę człowieka, np. kategoryzując dokumentację bez ostatecznego wpływu na jej treść. System wysokiego ryzyka natomiast autonomicznie lub w znaczącym stopniu kształtuje decyzje dotyczące zdrowia pacjentów lub jakości produktów leczniczych.

Granica między wsparciem a wysokim ryzykiem jest najcieńsza w kilku kluczowych obszarach. Do kategorii wysokiego ryzyka mogą kwalifikować się projekty związane z analizą danych z badań klinicznych czy prognozowaniem skuteczności terapii, gdzie algorytm wpływa na rekrutację pacjentów lub ocenę wyników leczenia. Podobnie jest w przypadku systemów kontroli jakości w procesie produkcji leków, które autonomicznie decydują o dopuszczeniu lub odrzuceniu partii produktu. Ryzyko rośnie także w obszarze pharmacovigilance, gdy AI automatycznie wykrywa i raportuje zdarzenia niepożądane, co ma bezpośredni wpływ na obowiązki regulacyjne. Dzieje się tak, ponieważ błędne działanie algorytmu w tych scenariuszach może bezpośrednio zagrozić zdrowiu pacjentów lub podważyć integralność produktu leczniczego. Wszystkie te zastosowania mogą podlegać pod Załącznik III do AI Act, dotyczący m.in. wyrobów medycznych i infrastruktury krytycznej.

Elementy oceny ryzyka i zgodności

Ocena ryzyka systemu AI wysokiego ryzyka jest procesem wieloetapowym. Kluczowe znaczenie ma jakość i reprezentatywność danych wejściowych oraz zbiorów treningowych, które muszą być wolne od uprzedzeń (bias) mogących prowadzić do dyskryminujących lub błędnych wyników. Równie istotna jest zapewnienie możliwości audytu działania algorytmu, co realizuje się poprzez szczegółowe logi rejestrujące jego decyzje. Niezbędny jest także skuteczny nadzór człowieka (human oversight), pozwalający operatorowi na interwencję i korektę działania systemu w dowolnym momencie. Wymogi te precyzują artykuły 9-15 AI Act.

Każdy model AI wysokiego ryzyka musi przejść rygorystyczną walidację, która obejmuje testy na niezależnych zbiorach danych, symulacje skrajnych scenariuszy oraz ocenę precyzji działania. Konieczne jest przygotowanie kompletnej dokumentacji technicznej, która stanowi podstawę do przeprowadzenia oceny zgodności. Odpowiedzialność za zgodność rozkłada się na wiele działów: IT odpowiada za wdrożenie techniczne, biznes za prawidłowe użytkowanie, a dział prawny za spełnienie wymogów regulacyjnych, w tym zasad legal pharma i przepisów AI Act. To interdyscyplinarne podejście jest niezbędne do skutecznego zarządzania ryzykiem. Kancelarie takie jak Traple Konarski Podrecki i Wspólnicy wspierają firmy z sektora life sciences w procesie klasyfikacji ryzyka i przygotowania niezbędnej dokumentacji.

Współpraca z zewnętrznymi dostawcami technologii AI wymaga szczególnej uwagi. Umowy muszą precyzyjnie regulować dostęp do danych treningowych, procedury aktualizacji modelu oraz podział odpowiedzialności za jego błędy. Należy także zagwarantować sobie prawo do wglądu w logi audytowe, co jest kluczowe dla wykazania zgodności. Podmiot wdrażający system wysokiego ryzyka (deployer) ma obowiązek monitorowania dostawcy (providera) i zgłaszania poważnych incydentów odpowiednim organom nadzorczym. Brak precyzyjnych zapisów umownych może prowadzić do poważnych luk w systemie zgodności.

Prawidłowa klasyfikacja zastosowania sztucznej inteligencji to fundamentalny krok dla każdej firmy farmaceutycznej wdrażającej nowe technologie. To od niej zależy, czy organizacja będzie musiała wdrożyć jedynie podstawowe zasady transparentności, czy też kompleksowy system zarządzania ryzykiem i pełną ocenę zgodności. Stawką jest nie tylko efektywność operacyjna, ale także uniknięcie dotkliwych kar finansowych, które za naruszenie AI Act mogą sięgać nawet 35 milionów euro.