У 2016 році Джеффрі Хінтон сказав, що рентгенологи повинні припинити навчання, бо AI замінить їх протягом п’яти років. Минуло десять. Рентгенологи все ще працюють. AI ж стала їхнім найефективнішим діагностичним інструментом.
Теза «AI замінить лікаря» цікава для медіа, але хибна з наукової точки зору. Теза «AI — це лише інструмент і не змінить медицину» так само хибна. Правда криється в механізмах: де AI сильна, де слабка, що з цього випливає для проєктування систем і які обов’язки накладає закон.
Що AI дійсно вміє в медицині
#Найкраще задокументовані результати стосуються перцептивних завдань на великих масивах даних. У дерматології згорткові моделі класифікують шкірні ураження з чутливістю, порівнянною з досвідченим дерматологом. В офтальмології системи аналізу очного дна виявляють діабетичну ретинопатію з точністю, при якій раніше фахівцям доводилося ставити в чергу сотні пацієнтів на місяць. У радіології AI зменшує кількість пропущених змін у легенях на 20-40% в умовах високого навантаження.
Ці результати реальні та варті уваги. Але мають спільний знаменник: стосуються чітко визначеного, повторюваного завдання з великою вибіркою тренувальних даних і чітко визначеною міткою. Поза цим полем вони перестають бути надійними.
Прогнозування ризику сепсису за електронними картами пацієнта, раннє виявлення погіршення стану у відділенні інтенсивної терапії, тріаж за знімками ЕКГ — це наступні задокументовані застосування. Усіх їх об’єднує одне: AI обробляє сигнал краще і швидше за людину під тиском, у вузькому вікні завдання. Вона не замінює лікаря. Вона дає йому кращий сигнал, раніше.
Де AI підводить і чому це важливо
#Дві слабкі точки є структурними, а не випадковими.
Перша — проблема чорної скриньки. Нейронна мережа, яка класифікує шкірне ураження, не може пояснити, чому вона це робить. Вона може навчитися на артефактах: кольорі фону, водяному знаку на знімку, розташуванні повік у наборі даних. Дослідження показують, що моделі, класифіковані як «кращі за дерматолога», втрачали цю перевагу, коли тестові дані збиралися іншою камерою або в іншому центрі. Це проблема галюцинацій та дрейфу у сфері з нульовою толерантністю до помилок.
Друга — проблема клінічного контексту. Пацієнт з задишкою, який працює в шахті, — це інший випадок, ніж некурець з задишкою за робочим столом, навіть якщо рентгенівський знімок виглядає ідентично. AI обробляє вхідні дані. Лікар обробляє пацієнта в його житті. Це не бар’єр, який можна подолати масштабуванням моделі.
До цього додаються систематичні відхилення (bias). Якщо тренувальні дані збираються переважно з однієї демографічної групи, модель навчається на цій групі. Дослідження, опубліковане в NEJM у 2024 році, показало, що моделі прогнозування серцево-судинного ризику були систематично неточними для жінок і пацієнтів з Африки на південь від Сахари. Впровадження такої моделі без аудиту є медичною подією, а не лише технічною.
AI Act: медицина як сфера високого ризику
#Це не проєктний вибір. З 2025 року AI Act класифікує системи AI в медицині як системи високого ризику (Annex III) — що накладає конкретні технічні та документальні обов’язки до того, як система потрапить до пацієнта.
Ключові вимоги для систем високого ризику в медицині:
| Вимога | Що це означає на практиці |
|---|---|
| Людський нагляд (human-oversight) | Лікар повинен мати реальну можливість оскаржити або проігнорувати рекомендацію AI |
| Прозорість та пояснюваність | Рішення AI має бути поясненим у ступені, достатньому для верифікації |
| Управління ризиками | Документований аналіз ризиків до впровадження та після кожної суттєвої зміни |
| Реєстр логів | Кожне рішення за участю AI фіксується — хто, коли, що запропонувала модель, що вирішив лікар |
| Тренувальні дані | Документування джерел даних, репрезентативності та процедури валідації |
| Оцінка впливу (DPIA) | Обов’язкова, якщо система обробляє дані про здоров’я або приймає рішення щодо людей |
Системи, що не відповідають цим вимогам, не можуть бути легально впроваджені в ЄС. Для постачальників медичного програмного забезпечення це означає, що архітектура відповідності має бути спроєктована з першого рядка — а не додана перед сертифікацією. Цей принцип ідентичний тому, який ми застосовуємо при кожному впровадженні для компаній: відповідність — це проєкт, а не латка.
Explainability: від модної концепції до обов’язку
#Роками explainability (пояснюваність AI) була академічною темою. AI Act перетворив це на юридичну вимогу для систем високого ризику. У медицині це означає конкретну архітектуру.
SHAP та attention maps — найпопулярніші методи post-hoc: модель показує, які пікселі або ознаки вплинули на рішення. Корисно для діагностики, але обмежено — показує кореляцію, а не причинність.
Моделі з вбудованою пояснюваністю (дерева рішень, логістична регресія з відбором ознак) простіші для аудиту, але слабші в перцепції. У візуальній діагностиці вони не замінять згорткові мережі.
Retrieval-Augmented Generation (RAG) вводить іншу модель пояснюваності: система не генерує відповідь з ваг моделі, а шукає в перевіреній базі знань і цитує джерела. Клінічний асистент на базі RAG може показати, з яких рекомендацій ESC або AHA походить рекомендація — це рівень пояснюваності, недоступний для чистого LLM. Подібну архітектуру ми описуємо у корпоративному асистенті знань.
У проєктуванні систем для регульованих секторів ми приймаємо принцип: якщо не можеш пояснити рішення моделі мовою домену, модель не повинна самостійно приймати це рішення.
Human-in-the-loop: механізм, а не філософія
#«Людський нагляд» звучить як етичний принцип. В інженерії систем це конкретний патерн: human-gate — точка прийняття рішення, через яку дія не може пройти без підтвердження людиною.
У медицині асистент на базі natural language processing може запропонувати диференціальний діагноз з ймовірностями. Лікар вирішує, які обстеження призначити. AI не виписує направлення самостійно — це і є gate. У системах оповіщення відділень інтенсивної терапії AI може згенерувати alert sepsis score. Медсестра підтверджує або відхиляє, перш ніж запуститься протокол — це gate. У радіології AI позначає ділянки для перегляду. Радіолог верифікує перед звітом — це gate.
Цей патерн (модель рекомендує, людина підтверджує незворотні дії) — це те саме, що ми застосовуємо при агентах AI, що діють у компаніях: кожна дія з зовнішніми наслідками вимагає підтвердження перед виконанням. У медицині зовнішні наслідки — це здоров’я пацієнта, тому вимога gate є абсолютною.
Дані, приватність та RODO у клінічних системах
#Медицина — одна з найскладніших сфер для обробки даних AI: дані про здоров’я є чутливими даними згідно з RODO, з посиленим режимом захисту та вимогою правової підстави за ст. 9.
Кілька практичних принципів, які застосовуються в кожному відповідному впровадженні:
Мінімізація даних. Модель отримує лише те, що необхідно для завдання. Ідентифікаційні дані маскуються або псевдонімізуються перед обробкою моделлю — детально це описано у анонімізації PII.
Локалізація обробки. Дані про здоров’я можуть вимагати обробки виключно в межах ЄС або в Польщі. Self-hosting LLM або контракти з постачальниками з data residency ЄС усувають цю проблему структурно.
Зберігання та право на видалення. Логи рішень AI мають зберігатися для підзвітності, але не довше, ніж вимагає мета. Пацієнт має право вимагати видалення даних та доступу до автоматичних рішень — архітектура має це технічно підтримувати, а не лише процедурно.
DPIA є обов’язковою при обробці даних про здоров’я у великих масштабах або при автоматичних рішеннях щодо пацієнтів. Це не одноразовий документ: має оновлюватися при кожній суттєвій зміні системи.
Спробуй наживо
Опиши сценарій впровадження AI у медичному або регульованому контексті — модель допоможе попередньо оцінити, які вимоги AI Act та RODO можуть застосовуватися, як відправну точку, а не юридичну пораду (playground: PII маскуються, нульове зберігання):
FAQ
#Чи є AI у медицині системою високого ризику згідно з AI Act?
#У переважній більшості випадків так. AI Act (Annex III) класифікує як високий ризик системи AI, що застосовуються в управлінні та обслуговуванні медичних пристроїв, а також системи, що підтримують клінічні рішення щодо пацієнтів. Це означає обов’язок технічної документації, управління ризиками, логування рішень та людського нагляду перед впровадженням. Класифікацію конкретної системи завжди підтверджуйте з юристом.
Чи може AI помилятися в діагнозі і хто за це відповідає?
#Так, AI може помилятися і дійсно помиляється. Відповідальність за клінічне рішення лежить на лікарі, який це рішення ухвалив. AI Act та медичне право не переносять відповідальність на постачальника моделі, якщо лікар мав реальну можливість оскаржити рекомендацію. Саме тому патерн human-gate є ключовим: лікар повинен мати інструмент для верифікації та можливість відхилити пропозицію системи.
Як працює explainability AI на практиці в клініці?
#Залежить від архітектури. Системи на базі RAG цитують джерела (рекомендації, публікації) для кожної пропозиції. Перцептивні системи (зображення, ЕКГ) використовують карти уваги або SHAP, показуючи, які ознаки даних вплинули на результат. Це не повна причинність, але дає лікарю точку входу для верифікації. Системи без жодної форми explainability не відповідають вимогам AI Act для високого ризику.
Чи можуть дані пацієнтів залишати лікарню або країну?
Можуть, якщо дотримано вимоги RODO: відповідна правова підстава за ст. 9, договір доручення з постачальником, стандартні договірні положення або рішення про адекватність для трансферів за межі ЄС. На практиці багато лікарень та закладів обирають self-hosting або постачальників з data residency PL/ЄС, щоб структурно усунути цю проблему. Обробка PII має бути охоплена DPIA, якщо стосується великих масштабів або автоматичних рішень.
Чи замінить AI лікарів у передбачуваному майбутньому?
#Ні, у ролі, яку вони виконують сьогодні. AI перебирає і буде перебирати вузькі, повторювані перцептивні завдання — скринінг, позначення аномалій, прогнозування ризиків за структурованими даними. Звільняє час лікаря для того, чого AI не має: клінічний контекст, стосунки, оцінку в умовах невизначеності, відповідальність. Зміни реальні та значні, але напрямок — це спеціалізація та аугментація, а не заміна.