W 2016 Geoffrey Hinton powiedział, że radiolodzy powinni przestać się szkolić, bo AI ich zastąpi w ciągu pięciu lat. Minęło dziesięć. Radiolodzy wciąż pracują. AI natomiast stała się ich najskuteczniejszym narzędziem diagnostycznym.
Teza „AI zastąpi lekarza" jest interesująca medialnie, ale fałszywa badawczo. Teza „AI jest tylko narzędziem i nie zmieni medycyny" jest równie fałszywa. Prawda leży w mechanizmach: gdzie AI jest silna, gdzie jest słaba, co z tego wynika dla projektowania systemów i jakie obowiązki nakłada prawo.
Co AI naprawdę potrafi w medycynie
#Najlepiej udokumentowane wyniki dotyczą zadań percepcyjnych na dużych zbiorach danych. W dermatologii modele konwolucyjne klasyfikują zmiany skórne z czułością porównywalną do doświadczonego dermatologa. W okulistyce systemy analizy dna oka wykrywają retinopatię cukrzycową z precyzją, przy której wcześniejsi specjaliści musieli kolejkować setki pacjentów miesięcznie. W radiologii AI zmniejsza liczbę przeoczonych zmian płucnych o 20-40% w warunkach wysokiego obciążenia.
Te wyniki są realne i warte uwagi. Ale mają wspólny mianownik: dotyczą dobrze zdefiniowanego, powtarzalnego zadania z dużą próbką danych treningowych i jasno określoną etykietą. Poza tym obszarem przestają być wiarygodne.
Predykcja ryzyka sepsy z elektronicznych kart pacjenta, wczesne wykrywanie deterioracji na OIOM, triage po zdjęciach EKG — to kolejne udokumentowane zastosowania. Wszystkie łączy to samo: AI przetwarza sygnał lepiej i szybciej niż człowiek pod presją, w wąskim oknie zadania. Nie zastępuje lekarza. Daje mu lepszy sygnał, wcześniej.
Gdzie AI zawodzi i dlaczego to ważne
#Dwa słabe punkty są strukturalne, nie przypadkowe.
Pierwszy to problem czarnej skrzynki. Sieć neuronowa, która klasyfikuje zmianę skórną, nie potrafi powiedzieć, dlaczego to robi. Może wytrenować się na artefaktach: kolorze tła, znaku wodnym na zdjęciu, układzie wieków w zbiorze danych. Badania pokazują, że modele sklasyfikowane jako „lepsze od dermatologa" traciły tę przewagę, gdy dane testowe były zbierane inną kamerą lub w innym centrum. To problem halucynacji i dryfu w dziedzinie o zerowej tolerancji na błąd.
Drugi to problem kontekstu klinicznego. Pacjent z dusznością, który pracuje w kopalni, jest innym przypadkiem niż nonsmoker z dusznością przy biurku — nawet jeśli zdjęcie rentgenowskie wygląda identycznie. AI przetwarza dane wejściowe. Lekarz przetwarza pacjenta w jego życiu. To nie jest bariera do pokonania przez skalowanie modelu.
Do tego dochodzą systematyczne odchylenia (bias). Jeśli dane treningowe są zbierane głównie z jednej grupy demograficznej, model uczy się tej grupy. Badanie opublikowane w NEJM w 2024 wykazało, że modele predykcji ryzyka sercowo-naczyniowego były systematycznie niedokładne dla kobiet i pacjentów z Afryki Subsaharyjskiej. Wdrożenie takiego modelu bez audytu jest zdarzeniem medycznym, nie tylko technicznym.
AI Act: medycyna jako obszar wysokiego ryzyka
#To nie jest opcja projektowa. Od 2025 roku AI Act klasyfikuje systemy AI w medycynie jako systemy wysokiego ryzyka (Annex III) — co nakłada konkretne obowiązki techniczne i dokumentacyjne, zanim system trafi do pacjenta.
Kluczowe wymagania dla systemów wysokiego ryzyka w medycynie:
| Wymóg | Co to znaczy w praktyce |
|---|---|
| Nadzór ludzki (human-oversight) | Lekarz musi mieć realną możliwość zakwestionowania lub zignorowania rekomendacji AI |
| Przejrzystość i wyjaśnialność | Decyzja AI musi być wyjaśnialna w stopniu pozwalającym na weryfikację |
| Zarządzanie ryzykiem | Udokumentowana analiza ryzyka przed wdrożeniem i po każdej istotnej zmianie |
| Rejestr logów | Każda decyzja z udziałem AI jest logowana — kto, kiedy, co zaproponował model, co zdecydował lekarz |
| Dane treningowe | Udokumentowanie źródeł danych, reprezentatywności i procedury walidacji |
| Ocena skutków (DPIA) | Wymagana, jeśli system przetwarza dane zdrowotne lub podejmuje decyzje o ludziach |
Systemy niespełniające tych wymogów nie mogą być legalnie wdrożone w EU. Dla dostawców oprogramowania medycznego oznacza to, że architektura zgodności musi być zaprojektowana od pierwszej linijki — nie doklejona przed certyfikacją. Zasada ta jest identyczna z tą, którą stosujemy przy każdym wdrożeniu dla firm: zgodność to projekt, nie łatka.
Explainability: od modnej koncepcji do obowiązku
#Przez lata explainability (wyjaśnialność AI) była tematem akademickim. AI Act zmienił to w wymóg prawny dla systemów wysokiego ryzyka. W medycynie oznacza to konkretną architekturę.
SHAP i attention maps to najpopularniejsze metody post-hoc: model mówi, które piksele lub cechy wpłynęły na decyzję. Przydatne diagnostycznie, ale ograniczone — pokazują korelację, nie przyczynowość.
Modele inherentnie wyjaśnialne (drzewa decyzyjne, regresja logistyczna z selekcją cech) są prostsze do audytu, ale słabsze perceptualnie. W diagnostyce obrazowej nie zastąpią sieci konwolucyjnych.
Retrieval-Augmented Generation (RAG) wprowadza inny model wyjaśnialności: system nie generuje odpowiedzi z wag modelu, lecz przeszukuje zweryfikowaną bazę wiedzy i cytuje źródła. Asystent kliniczny oparty na RAG może pokazać, z których wytycznych ESC lub AHA pochodzi rekomendacja — to poziom wyjaśnialności niedostępny dla czystego LLM. Podobną architekturę opisujemy przy firmowym asystencie wiedzy.
W projektowaniu systemów dla sektora regulated przyjmujemy zasadę: jeśli nie możesz wytłumaczyć decyzji modelu w języku domeny, model nie powinien tej decyzji podejmować samodzielnie.
Human-in-the-loop: mechanizm, nie filozofia
#„Nadzór ludzki" brzmi jak zasada etyczna. W inżynierii systemów to konkretny wzorzec: human-gate — punkt decyzyjny, przez który akcja nie może przejść bez potwierdzenia człowieka.
W medycynie natural language processing asystent może zaproponować diagnozę różnicową z prawdopodobieństwami. Lekarz decyduje, które badania zlecić. AI nie pisze zlecenia samodzielnie — to jest gate. W systemach alertowania OIOM AI może wygenerować alert sepsis score. Pielęgniarka potwierdza lub odrzuca, zanim protokół startuje — to jest gate. W radiologii AI flaguje obszary do obejrzenia. Radiolog weryfikuje przed raportem — to jest gate.
Ten wzorzec (model rekomenduje, człowiek zatwierdza nieodwracalne) jest tym samym, co stosujemy przy agentach AI działających w firmach: każda akcja z konsekwencjami zewnętrznymi wymaga potwierdzenia przed wykonaniem. W medycynie konsekwencje zewnętrzne to zdrowie pacjenta — wymóg bramy jest absolutny.
Dane, prywatność i RODO w systemach klinicznych
#Medycyna to jeden z najtrudniejszych obszarów dla przetwarzania danych AI — dane zdrowotne to dane wrażliwe w rozumieniu RODO, z zaostrzonym reżimem ochrony i wymogiem podstawy prawnej Art. 9.
Kilka zasad praktycznych, które stosuje się w każdym zgodnym wdrożeniu:
Minimalizacja danych. Model dostaje tylko to, co niezbędne do zadania. Dane identyfikacyjne maskowane lub pseudonimizowane przed przetwarzaniem przez model — szczegółowo opisujemy to przy anonimizacji PII.
Lokalizacja przetwarzania. Dane zdrowotne mogą wymagać przetwarzania wyłącznie w granicach EU lub w Polsce. Self-hosting LLM lub kontrakty z dostawcami z data residency EU eliminują ten problem strukturalnie.
Retencja i prawo do usunięcia. Logi decyzji AI muszą być przechowywane dla rozliczalności, ale nie dłużej niż wymaga cel. Pacjent ma prawo żądać usunięcia danych i wglądu w automatyczne decyzje — architektura musi to obsługiwać technicznie, nie tylko proceduralnie.
DPIA jest wymagana przy przetwarzaniu danych zdrowotnych na dużą skalę lub przy automatycznych decyzjach o pacjentach. Nie jest jednorazowym dokumentem: musi być aktualizowana przy każdej istotnej zmianie systemu.
Wypróbuj na żywo
#Opisz scenariusz wdrożenia AI w kontekście medycznym lub regulated — model pomoże wstępnie ocenić, jakie wymogi AI Act i RODO mogą mieć zastosowanie, jako punkt wyjścia, nie porada prawna (playground: PII maskowane, zero retencji):
FAQ
#Czy AI w medycynie to system wysokiego ryzyka wg AI Act?
#W zdecydowanej większości przypadków tak. AI Act (Annex III) klasyfikuje jako wysokie ryzyko systemy AI stosowane w zarządzaniu i obsłudze urządzeń medycznych, jak i systemy wspomagające decyzje kliniczne o pacjentach. Oznacza to obowiązek dokumentacji technicznej, zarządzania ryzykiem, logowania decyzji i nadzoru ludzkiego przed wdrożeniem. Klasyfikację konkretnego systemu zawsze potwierdź z prawnikiem.
Czy AI może się mylić w diagnozie i kto za to odpowiada?
#Tak, AI może się mylić i faktycznie się myli. Odpowiedzialność za decyzję kliniczną spoczywa na lekarzu, który tę decyzję podjął. AI Act i prawo medyczne nie przenoszą odpowiedzialności na dostawcę modelu, jeśli lekarz miał realną możliwość zakwestionowania rekomendacji. Dlatego wzorzec human-gate jest kluczowy: lekarz musi mieć narzędzie do weryfikacji i możliwość odrzucenia sugestii systemu.
Jak działa wyjaśnialność AI w praktyce klinicznej?
#Zależy od architektury. Systemy oparte na RAG cytują źródła (wytyczne, publikacje) dla każdej rekomendacji. Systemy percepcyjne (obraz, EKG) używają map uwagi lub SHAP, pokazując, które cechy danych wpłynęły na wynik. To nie jest pełna przyczynowość, ale daje lekarzowi punkt wejścia do weryfikacji. Systemy bez żadnej formy wyjaśnialności nie spełniają wymogów AI Act dla wysokiego ryzyka.
Czy dane pacjentów mogą opuścić szpital lub kraj?
#Mogą, jeśli spełnione są wymogi RODO: odpowiednia podstawa prawna Art. 9, umowa powierzenia z dostawcą, standardowe klauzule umowne lub decyzja adekwatności dla transferów poza EU. W praktyce wiele szpitali i placówek wybiera self-hosting lub dostawców z data residency PL/EU, żeby wyeliminować ten problem strukturalnie. Przetwarzanie PII musi być objęte DPIA, jeśli dotyczy dużej skali lub decyzji automatycznych.
Czy AI zastąpi lekarzy w przewidywalnej przyszłości?
#Nie w roli, jaką pełnią dziś. AI przejmuje i będzie przejmować wąskie, powtarzalne zadania percepcyjne — screening, flagowanie anomalii, predykcja ryzyka z danych strukturalnych. Uwalnia czas lekarza na to, czego AI nie ma: kontekst kliniczny, relację, ocenę w warunkach niepewności, odpowiedzialność. Zmiana jest realna i duża, ale kierunek to specjalizacja i augmentacja, nie substytucja.